对于线性函数而言,ReLU的表达能力更强(结合其“稀疏表达能力”理解) 对于非线性函数而言,ReLU由于非负区间的梯度为常数,因此不存在梯度消失问题(Vanishing Gradient Problem),使得模型的收敛速度维持在一个稳定状态。 缺点 ReLU的输出不是”0均值的” Dead ReLU Problem(神经元坏死现象):某些神经元可能永远不会被激活,...
优点:1、针对Relu函数中存在的Dead Relu Problem,Leaky Relu函数在输入为负值时,给予输入值一个很小的斜率,在解决了负输入情况下的0梯度问题的基础上,也很好的缓解了Dead Relu问题; 2、该函数的输出为负无穷到正无穷,即leaky扩大了Relu函数的范围,其中α的值一般设置为一个较小值,如0.01; 缺点:1、理论上来说,...