基于pseudo label的学习模型和Loss形式

参考了论文Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks

对于unlabeled date，选择预测概率最大的作为该样本的伪label，如下式：

$y = egin{cases} 1 & ext{if } i = argmax_{i} f(x) \ 0 & ext otherwise end{cases}$

不同的是：pseudo label用在了fine-tune阶段。

Pre-trained Model用labeled和unlabeled的数据一起训练

总结的Loss形式如下：

$L = frac{1}{n}sum_{m=1}^{n}sum_{i=1}^{C}L(y_i^m,f_i^m)+alpha(t)frac{1}{n}sum_{m=1}^{n}sum_{i=1}^{C}L({y}_i^m,{f}_i^m)$

n和n为mini batch的大小，C为类别个数，f为网路输出，y和y分别为Label和pseudo label，α为平衡系数，是关于训练时间t的函数。首先，在一开始α为0，模型只训练有标记的样本，从而尽快学习，之后α开始缓慢增加，知道达到某个迭代次数后，停止增加。从而实现半监督学习。

$alpha(t) = egin{cases} 0 & ext{ } t<T_1 \ frac{t-T_1}{T_2-T_1}alpha_f & ext{} T_1 le t le T_2 \ alpha_f & ext{} T_2 le t end{cases}$

使用pseudo label作为ground truth来训练下一个网路，看了师兄paper reading上讲的那两篇,都是用Unlabeled data先过一遍网路得到pesudo label,后面的训练在用这些pesudo label作为GT进行有监督的学习，损失函数的形式也是各个部分以平衡系数相加。