(1) sigmoid函数 sigmoid 可处理二分类问题 优点: 1.Sigmoid函数的输出映射在(0,1)之间,单调连续,输出范围有限,优化稳定,可以用作输出层。 2.求导容易。 缺点: 1.由于其软饱和性,容易产生梯度消失,导致训练出现问题。 2.其输出并不是以0为中心的。 (2) ReLU Rectified Linear Unit(ReLU) - 用于隐层神经...