是整个神经元的输出结果, 公式中运行一个sigmoid层,它决定了我们要输出的细胞状态的哪些部分。 然后,我们将单元格状态通过tanh(将值规范化到-1和1之间),并将其乘以Sigmoid门的输出,至此我们只输出了我们决定的那些部分。 细胞状态 和RNN相比,LSTM多了一个隐状态变量 ,称为细胞状态(cell state),用来记录信息,它...
第一层有128个神经元,每增加一层就增加一倍,最多有1024个神经元。 在这个网络中,Leaky ReLU被用作中间层的激活函数,其斜率为负0.2,这意味着值低于-0.2的特征将设置为0。 BatchNorm1d还用于对中间特征向量进行规范化,其eps值为0.8,以保证数值稳定性。默认值:1 e-5。 输出层的tanh激活确保像素值与自己的输出...