如果输出是0、1值(二分类问题),则输出层选择sigmoid函数,然后其它的所有单元都选择Relu函数。 这是很多激活函数的默认选择,如果在隐藏层上不确定使用哪个激活函数,那么通常会使用Relu激活函数。有时,也会使用tanh激活函数,但Relu的一个优点是:当是负值的时候,导数等于0。 这里也有另一个版本的Relu被称为Leaky Relu。
为了解决梯度消失问题,我们来讨论另一个非线性激活函数——修正线性单元(rectified linear unit,ReLU),该函数明显优于前面两个函数,是现在使用最广泛的函数。 5.3 修正线性单元(ReLU) ReLU激活函数 ReLU导数从上图可以看到,ReLU 是从底部开始半修正的一种函数。数学公式为: 当输入 x<0 时,输出为 0,当 x> 0 ...
复杂性与实用性：尽管Leaky ReLU、PReLU、RReLU等激活函数在理论上具有优势，但它们或引入额外参数，或实...
刚在微信群得到大佬指点，自己答一个：
Leaky ReLU：微调版ReLU🌟🌟Leaky ReLU（torch.nn.LeakyReLU()）是ReLU的改良版，通过引入小的负斜率解决了ReLU的“死亡神经元”问题，其公式和图像展示了这一改进。总体来说，Leaky ReLU的性能与ReLU相当，但更温和。SiLU函数：革新性的激活SiLU🌟🌟🌟🌟...
PReLU是Kaiming He等人在2015年《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》论文中提出的激活函数。和Leaky-ReLU相比,将\alpha变成可训练的参数,不再依赖于人工调整。PReLU的定义如下: \begin{equation} PReLU\left( x \right) = \begin{cases} x ,& if\space...