重新学习 & 记录一下 概率论、信息论、交叉熵的概念 独立事件 独立事件的充要条件是：两个事件的联合概率等于它们各自的概率的乘积。也就是说，事件A和事件B是独立的，当且仅当满足以下条件： [P(A \cap B) = P(A) \cdot P(B)] 其中，$P(A \cap B)$表示事件A和事件B同时发生的概率，$P(A)$和$P(B)$分别表示事件A和事件B单独发生的概...

这篇文章的介绍了我学习降维的一些知识，主要会包括以下Paper: Here a reference list is provided. You need to read all the papers in the list and write a literature review about the above-mentioned methods. Kernel Princip...

Adaboost report 这篇文章介绍了Adaboost算法、给出了 Adaboost 的 python 实现和误差分析。 Description Adaboost算法主要针对分类问题。Boost 方法指的是将弱分类器提升成强分类器的方法。大多数提升方法都基于改变训练样本权重来实现。AdaBoost 迭代地训练弱分类器，每次迭代会增加前一个弱分类器错误分类样本权重方式，让下一个弱...

这篇文章记录了 git 的一些用法。大致包括： 基础用法 git submodule git ssh 配置 Finish later … Github 使用 首先配置一个 ssh key ssh-keygen -t ed25519 -C "cjl2559@163.com" cat <dir>/<file_n...

wandb 是帮助记录训练的模型很好用的工具。这篇文章记录了wandb的基础使用过程。 Install & Setup pip install wandb wandb login Init # init run = wandb.init( # Set the project where this run will be logged project="my-aw...

问题引入 假设现在有一个二分类任务，我们有一些标签数据 $ (X_i, y_i) $ ，其中 $i=1,2,…n$，$X_i$代表了数据特征，设其维度为 $d$, 即 $X_i \in \mathbf{R}^d$。 $y_i$是标签，由于是二分类任务，其取值为 $1$ 或 $-1$。二分类任务的目标是训练一个模型，可以模型准确的预测与训练数据满足同一分布的新数据。 Hard-margin...

在这篇文章中，我们简单介绍PEFT概念、PEFT方法，和在Huggingface中的实现方式。 What is PEFT and why? PEFT（Parameter Efficient FineTuning），概念源于模型微调。之前的 Full-Finetuning 一般指的是对下游任务加入一些新数据，再训练几个 Epochs。 Problem： 参数量大的时候 (>?B...

Intro 这篇文章是想记录一下 Pytorch 中 torch.nn 的一些自己会用到的用法，避免反复看 docs，:( 泪目。 pytorch scatter https://pytorch-scatter.readthedocs.io/en/latest/functions/scatter.html#torch_scatter.scatter torch.stack 比如我有一个...

GraphPEFT

Step0. Start repo I fork this jelkyll theme from here. Step1. Run in local install ruby & gems for jekyll & … Here is useful docs to begin with. Following the command: b...