为便于讨论,假定噪声期望为零,即E.D[yD– y] = 0. 通过简单的多项式展开合并,可对算法的期望泛化误差进行分解: 由于噪声期望为0,因此倒数第二行的式子(红字交叉项)为0. 考虑到噪声不依赖于f(噪声与模型无关),上述第四行公式(红字交叉项)为0,具体推导如下: 上述推导的倒数第四行运用了连续变量的期望公式。
其中交叉项: yˆ i y aˆ bˆx i y bˆ(xi x) aˆ y bˆx yi yˆi (yi y) bˆ(xi x) yˆi y bˆ(xi x) ( yi yˆi )(yˆ i y) bˆ( yi y)(xi x) bˆ2 (xi x)2 bˆlxy bˆ2lxx 0 bˆ lxy / lxx 因此:记 SS ( yi y)2 Se ( yi...
K折交叉验证重复k次地把数据集分成训练集和测试集,K值越大,每次划分的训练集就越大,估计模型的期望E[f^]就越接近整个数据集的真实模型f,因此模型偏差就越小。 [5] 参考资料: http://www.learnopencv.com/bias-variance-tradeoff-in-machine-learning/ ↩︎ 偏差与方差 ↩︎ 《机器学习》, 周志华,...