目录ReLU、Leaky ReLU、PReLU激活函数简介常见的激活函数ReLU、Leaky ReLU、PReLULeaky ReLUs ReLU是将所有的负值都设为零,相反,Leaky ReLU是给所有负值赋予一个非零斜率。Leaky ReLU激活函数是在声学模型(2013)中首次提出的。以数学的方式我们可以表示为: ai是(1, ...