二、基于不确定性的主动学习方法 BALD(Bayesian Active Learning by Disagreement)概念[1] 首先就需要定义我们想要什么样的样本来训练模型,基于不确定性的主动学习方法中经典的MC dropout这一支方法认为,我们想要通过训练样本,尽可能快的减小模型参数θ可能的假设,也就是最小化给定标注样本D下,参数的不确定性。(原文是...
Dropout 刚提出时,大家并不清楚如何解释它。后来,大家在类似的框架下来解释 dropout,包括我们自己在 SVM 方面的工作。最新的进展是 Gal 和 Ghahramani 去年的工作,把 dropout 理解成贝叶斯推理的近似,这也体现了贝叶斯方法在保护模型,避免过拟合方面的效用。 Dropout 只是一个例子。事实上,贝叶斯和深度学习之间还存在很...