使用Gumbel-Softmax：Gumbel-Softmax可以通过加入噪声来消除argmax不可导性。使用连续变量：使用连续变量可...
重参数化（Reparameterization）技术是解决argmax不可导性问题的另一个重要方法。通过将argmax操作分解为参数化过程，使得梯度回传路径更加清晰，从而实现了参数更新的连续性。在离散情形下，Gumbel Max和Gumbel Softmax机制提供了从离散分布中高效采样的方法，同时保留了参数的梯度信息。总的来说，解决argmax...
1. max 函数的光滑化 max(x,y)的向量空间如图所示，是有一条不可导的线的存在的，将max函数光滑化...
最大值那个地方就会变得很靠近1, 其他地方就会变得很靠近0. 然后, 我们计算argmax(v), 接着可以得到一个常数c = argmax(v) - softmax(v). 我们这时, 可以用softmax(v) + c来作为argmax(v)的结果. 这个东西的好处是, 我们的softmax(v) + c是...
其实就是一个在离散分布中采样的问题 具体可以参考 gumble softmax 这里贴一篇苏神的文章漫谈重参数：从...
1/梯度链条怎么隔断不让他经过字典模块？pytorch有个 detach(), 可以隔断梯度，梯度就不会进入 不可导...
可以对argmax/argmin这种不可导的操作直接忽视，也就是锁定：classArgMax(torch.autograd.Function):@...
单就解决argmax的不可导性这一问题而言，可以使用argmax的近似估计：s=argmax(h)≈∑iN(i∗h(i)...
argmax-k 这块做法是一样的，利用多次温度系数的softmax模拟。但存在一个问题，如果top-2的值相等时，...
使用矩阵转换，将模型转换为全可微模型