+ argmax 严格等价于从 categorical distribution 里采样,详见上面那篇论文及其参考文献。最早是 Gumbel 1954 年发现的; 既然只要把采样和网络计算分离就可实现反向求导,那么不使用Softmax而直接使用Gumbel-Argmax然后使用代码y = (y_hard - y).detach()+ y使得可求导,是否同样可行?如此一来,Gumbel-Argmax同样...
好久没写MindSpore相关的内容了。事情还要从前段时间一位同学私信问模型迁移的问题说起。要迁移的是诺亚的一篇ICML论文《SparseBERT: Rethinking the Importance Analysis in Self-attention》[1]。里面有一段代码(SparseBERT)用到了Pytorch的gumbel_softmax实现。由于这个实现用了不少Pytorch独有的trick,没法用MindSpore直...
GroupViT论文中，作者选择在Grouping模块的Token聚类中心选择上采用Gumbel Softmax方法，这主要是出于图像分割需求，确保每个类别对应一个且仅对应一个区域。传统softmax难以实现这样的one-hot分配，而Gumbel Softmax恰好解决了这个问题。在项目GitHub上，有人曾疑惑为何不使用普通的softmax，因为softmax分配的是...
本文对大部分人来说可能仅仅起到科普的作用,因为Gumbel-Max仅在部分领域会用到,例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时,看到其中有用Gumbel-Softmax公式解决对一个概率分布进行采样无法求导的问题,故想到对Gumbel-Softmax做一个总结,由此写下本文
因为Gumbel-Max仅在部分领域会用到，例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时，看到其中有用...
起因是一位同学询问关于模型迁移的问题，目标是诺亚的一篇ICML论文《SparseBERT: Rethinking the Importance Analysis in Self-attention》中使用了Pytorch特有的Gumbel-Softmax实现，但该实现难以直接移植到MindSpore。因此，我针对这个问题进行了深入研究，并撰写了一篇关于如何在MindSpore中实现Gumbel-Softmax的...
在2016年的论文《A Continuous Relaxation of Discrete Random Variables》以及2017年的《CATEGORICAL REPARAMETERIZATION WITH GUMBEL-SOFTMAX》中，研究者发现了一种重参数化技巧，能够同时保持随机性，让离散型随机变量的梯度继续回传。这两篇论文的引用量超过了8000次，表明它们在深度学习领域具有重要价值，...
所以gumbel softmax成功地引入了随机性,使得每个操作都能以一定的概率被选中,不过貌似也并没有减少内存的消耗,因为还是和DARTS一样计算的mixed值。所以在GDAS这篇论文里作者在选择操作的时候使用的是argmax,而在更新权重的时候采用的是softmax的梯度值,这个可以通过修改pytorch的backward部分代码实现。
管理 分享 讨论 精华 等待回答 通俗易懂地理解Gumbel Softmax wwdok CV,AIGC,MLLM 前言 我在学习《CLIP 改进工作串讲(上)【论文精读·42】》的过程中,听到朱老师讲到了GroupViT中用到了gumbel softmax(相关源代码),于是我带着好奇心试图想去了解gumbel s… ...
在实践中，Gumbel softmax的实现方式可能会有所不同，比如在GDAS论文中，选择操作可能使用argmax，而更新权重则采用softmax的梯度。在PyTorch中，这可能表现为如下的代码片段：ret = y_hard - y_soft.detach() + y_soft。尽管引入了随机性，Gumbel softmax并未显著减少内存需求，因为它仍然计算了混合...