Temporal Ensembling伪代码 这里的Z值更新是指数移动平均,α越小遗忘历史信息就越快,一般刚开始训练的时候因为model输出不太靠谱,α都比较小,更快的遗忘历史信息,训练到后面model预测比较靠谱,α会调的比较大,来更进一步的考虑历史输出产生更加稳定平滑的输出预测z2 指数移动平均代码: def ema_update(teacher,
(注意是每个epoch,而不是每个batch,来改变一次伪标签,这种改变其实非常缓慢。之后的工作比如说mean teacher也指出,这个方法对于大数据集来说是非常难处理的) 注意上述伪代码,\tilde{z}表示N个数据的伪标签,每个伪标签\tilde{z_i}是一个C维向量,作者的意思是在minibatch的循环就能够完成对\tilde{z}的更新(每次循...
近期，财政部公布了2013年关键期限国债发行计划表。鉴于2013年国债到期规模为7825亿元，则2013年国债净发行将达5200一6200亿元，远高于2012年的净发行量。这一政策发挥影响的路径是 ①增加财政收入 ②增加国内需求 ③扩大政府投资 ④刺激经济发展
Mean Teacher 后现代半监督学习的经典思路:一致性正则化 按照目前最新的一些半监督深度学习的方法,我基本已经分不清semi supervised learning和self supervised learning的区别了。 半监督本身的核心在于想方设法在training的时候把无标签的样本充分利用起来,这部分其实直接可以用各类self supervised learning的ideas来实现了...