Logsigmoid 函数是对 sigmoid 函数取对数,其本质实现线性映射,尤其擅长处理负值,能增强对负输入的区分度。然而,sigmoid 函数在输出接近0或1时,导数接近于0,可能导致梯度消失问题,故在实际应用中需谨慎。最后,nn.LogSoftmax 函数对 softmax 结果取自然对数,进一步扩大数值差距,同时转换到 [-∞,0...
LogSigmoid() lgoutput = lg(a) print(lgoutput) tensor([[-0.4635, -0.5162, -0.7176], [-1.8053, -0.9601, -0.4502]]) nn.LogSoftmax() 操作:对Softmax()的结果取自然对数,由于softmax输出都是0-1之间的,因此logsofmax输出的是小于0的数。 本质:将Softmax()结果进一步拉大,且转化为[-∞,0]。