所以其实Fisher information 描述的是曲率变化的震荡程度,我们认为曲率的变化中蕴含着很多信息。 下面来叙述一下我们的算法: 左边是我们经典的Newton method,右边是我们要说的Fisher scoring。Newton method作为一个二阶算法,我们就需要计算Hessian矩阵以及它的逆,当维数比较高的时候,会对计算能力有着比较大的要求。所以...
g(μi)=ηi=xiTβ 若g(μ)=b(θ),那么称g(μ)为规范链接。 e.g.1(逻辑回归) 随机成分:Yi∣xi∼B(πi),E(Yi∣xi)=πi 系统成分:ηi=β0+β1x1i+⋯+βpxpi 连接函数:g(πi)=log(πi1−πi)=b(πi) 综上有: log(πi1−πi)=β0+β1x1i+⋯+βpxpi e.g....
在Newton Raphson算法中，参数估计时候需要得到损失函数的二阶导数（矩阵），而在Fisher scoring 中，我们...