ReLU 函数:ReLU 函数是修正线性单元函数,它在输入大于0时输出该输入,否则输出0。其表达式为 f(x) = max(0, x)。 Leaky ReLU 函数:Leaky ReLU 函数是带泄漏的修正线性单元函数,它在输入大于0时输出该输入,否则输出一个较小的斜率乘以输入的值。其表达式为 f(x) = max(0.01x, x)。 Elu 函数:Elu 函数...
elu函数是指指数线性单元(exponential linear unit),它是一种激活函数,用于在神经网络中引入非线性因素。elu函数的定义如下: f(x) = x (x > 0) f(x) = α * (exp(x) - 1) (x <= 0) 其中,x为输入,α为一个较大的正数。可以看出,当x大于0时,elu函数的输出与输入相等,即保持不变;当x小于等于...