Stacking与bagging和boosting主要有两点不同。 First stacking 通常考虑异构弱学习器(不同的学习算法组合),而 bagging 和 boosting 主要考虑同构弱学习器。其次,stacking 学习使用元模型组合基本模型,而 bagging 和 boosting 则按照确定性算法组合弱学习器。 堆叠 stacking 的想法是学习几个不同的弱学习器,通过训练元模...
bagging方法得到的各子模型是有一定相关性的,属于上面两个极端状况的中间态,因此可以一定程度降低variance。 boosting从优化角度来看,是用forward-stagewise这种贪心法去最小化损失函数,由于采取的是串行优化的策略,各子模型之间是强相关的,于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预...