设置门控循环单元神经网络的全连接层以及分类层; 步骤4,为门控循环单元神经网络的表示中建立残差跳跃连接并引入高速公路网络门 限控制方法; 步骤5,将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数; 步骤6,设置残差跳跃连接的门控循环单元神经网络的权重初始化方式为正交初始化; 步骤7,为残差跳跃连接...
了一种基于残差跳跃连接的门控循环单元的文本分类方法,在现有的门控循环单元的基础上,利用跳跃连接引入残差信息并结合高速公路网络的门控限制,同时使用非饱和激活函数以及批标准化来改进门控循环单元定义公式,使门控循环单元在应对梯度消失问题的同时能够捕获超长期依赖关系,并利用高速公路网络的门控来限制残差信息不占...
7.步骤4,为门控循环单元神经网络的表示中建立残差跳跃连接并引入高速公路网络门限控制方法; 8.步骤5,将残差跳跃连接的门控循环单元的饱和激活函数改为非饱和激活函数; 9.步骤6,设置残差跳跃连接的门控循环单元神经网络的权重初始化方式为正交初始化; 10.步骤7,为残差跳跃连接的门控循环单元神经网络设置批标准化; ...