当然！mask 的位置会被序列中的其他词注意到！反向想一下，如果 mask 的位置能被 attention 自动忽视的...
因为是矩阵运算，所以mask的部分是会进行attention计算的，但是不影响最后的结果，因为与其他的词注意力为...
本文主要来自 https://rubikscode.net/2021/10/25/using-huggingface-transformers-with-ml-net/ ，根据...
不会计算 attention，个人认为 mask 掉的就是模型要预测的，计算 attention 是没有意义的。源码的处理是...
既然都mask了，我觉得是不会再和其他单词向量计算attention的。另外BERT中特殊的mask技巧(随机mask 15%的...
那mask-lm-pretrain的时候，BERT就不是fully self-attention，而是[mask] embedding + position ...
我的理解是需要计算的。其他回答也有解释是softmax之前attention scores被mask的部分，用很小负数加上去，...
BERT的[MASK]的Token Embedding连带其Pos Encoding、Seg Embedding都会被别的桢注意到。Padding不会被别的...
在Bert预训练的时候 [MASK] 就相当于 blank noise。只不过场景不再是语言模型了，blank noise会出现在...