∂E3∂V=∂E3∂y^3∂y^3∂V=∂E3∂y^3∂y^3∂z3∂z3∂V=(y^3−y3)⊗s3∂E3∂V=∂E3∂y^3∂y^3∂V=∂E3∂y^3∂y^3∂z3∂z3∂V=(y^3−y3)⊗s3 根据链式法则和RNN中W权值共享,可以得到: ∂E3∂W=∑k=03∂E3
RNN的cell比较简单,我们用Xt表示t时刻cell的输入,Ct表示t时刻cell的状态,ht表示t时刻的输出(输出和状态在RNN里是一样的)。 那么其前向传播的公式也很简单:ht=Ct=[ht−1,Xt]∗W+bht=Ct=[ht−1,Xt]∗W+b 其中[,]表示concat。W和b分别为RNN的kernel和bias。 然后LSTM,是RNN的升级版,加入了forget...
手机刷题也方便