公式:f(x) = max(0.01x, x) 图像: 为了改善ReLU的缺点,提出Leaky ReLU函数,其负区域有很小的斜率。 优点:计算速度较快,不会出现饱和现象。 ELU(Exponential Linear Units)激活函数 公式: 图像: ELU激活函数具有ReLU的优点,其输出的均值接近于0。 缺点:其负区域容易出现饱和现象。 Maxout激活函数 公式: 可以...