参考链接:饱和和非饱和激活函数 右饱和: 当x 趋向于正无穷大时,导数值趋近于 0 左饱和: 当x 趋向于负无穷大,导数值趋近于 0 饱和激活函数:当满足右饱和和左饱和时,称作饱和激活函数,分别有 Sigmoid 和 tanh 非饱和激活函数:只满足右饱和或左饱和中的一个,或都不满足,则称作非饱和激活函数,有 ReLU 及其他...
TPT的脚本评估不仅提供了非常多方便我们评估的内置函数,还支持自定义函数库,方便我们自已定义一些个性化的评估函数。这里以饱和模块为例,简述TPT是如何自定义函数库的。 1.编写自定义函数 首先在一个新建的脚本评估中编写我们要定义的函数(主要是方便控制缩进),TPT脚本评估的语法和Python大体类似。