作者提出了一系列的ACON函数,其中 ReLU 是 Maxout 的一种特殊形式,Swish 是 ACON 的一种特殊形式 Meta ACON-C 基于以上的工作,作者提出了三个个激活函数,分别是ACON-C,ACON-FReLU,Meta ACON-C,这里着重介绍后者 origin code:https://github.com/nmaac/acon/blob/main/acon.py Meta ACON-C 结构图如下 p,...
根据ACON论文以及官方开源代码复现了ACON-C激活函数以及Meta-ACON函数,并给出用法。 李长安 9枚 AI Studio 经典版 2.1.2 Python3 高级计算机视觉 2021-05-31 18:11:08 版本内容 Fork记录 评论(3) 运行一下 v3 2021-06-08 10:50:07 请选择预览文件 ACON激活函数复现 Smooth Maximum(光滑最大值函数) 基...
可以看到ACON-C下,一阶导的上下界也是通过p1和p2两个参数来共同决定的 最后总结下各个形态的公式 Meta-ACON 前面我们有提到,ACON系列的激活函数通过 \beta 的值来控制是否激活神经元( \beta 为0,即不激活)。因此我们需要为ACON设计一个计算 \beta 的自适应函数。 而自适应函数的设计空间包含了layer-wise,chan...
仅空间位置共享(spatial-shared and channel-wise),输出2KC个参数。 2.3 DY-ReLU-C 空间位置和维度均不共享(spatial and channel-wise),每个维度的每个元素都有对应的激活函数。虽然表达能力很强,但需要输出的参数(2KCHW)太多了,像前面那要直接用全连接层输出会带来过多的额外计算。 下图为上述三...
f(x) = max(x,px)\quad (p < 1)\\考虑\eta_a(x) = x,\eta b(x) = px,则可获得新的激活函数\mathrm{ACON-B}: f_{\mathrm{ACON-B}}(x)=S_{\beta}(x,px)=(1-p)x\cdot \sigma[\beta(1-p)x]+px \\ 2.4 ACON-C \mathrm{ACON-C}遵循\mathrm{ACON-B}的原理,采用了相同的双自...
可以看到ACON-C下,一阶导的上下界也是通过p1和p2两个参数来共同决定的。 最后总结下各个形态的公式: Meta-ACON 前面我们有提到,ACON系列的激活函数通过β的值来控制是否激活神经元(β为0,即不激活)。因此我们需要为ACON设计一个计算β的自适应函数。
验证ACON-C中p1,p2的涨点性能,即使在大模型Res152上也有1.1的涨点 三、ACON 的更多特例 ACON-FReLU 前面对Maxout中 的不同取值做了分析。最近专门针对视觉任务的新激活函数 FReLU (Funnel Activation for Visual Recognition) 也是Maxout的一种特例,本文设 ...
作者将族中的最大值的激活,转换为族中。作者展示了的近似,它的原始形式为: 其中是一个可学习的参数,初始化的数值为。在大多数情况下,作者将其改写为如下形式: 考虑,,则可获得新的激活函数: 2.4 ACON-C 遵循的原理,采用了相同的双自变量函数,带有一个额外的超参数,只...
验证ACON-C中p1,p2的涨点性能,即使在大模型Res152上也有1.1的涨点 三、ACON 的更多特例 ACON-FReLU 前面对Maxout中 的不同取值做了分析。最近专门针对视觉任务的新激活函数 FReLU (Funnel Activation for Visual Recognition) 也是Maxout的...
验证ACON-C中p1,p2的涨点性能,即使在大模型Res152上也有1.1的涨点 三、ACON 的更多特例 ACON-FReLU 前面对Maxout中的不同取值做了分析。最近专门针对视觉任务的新激活函数 FReLU (Funnel Activation for Visual Recognition) 也是Maxout的一种特例,本文设后,得到了 ACON-FReLU,并且基于此模块,设计了一个仅由 ...