如果有人问你,Multi-Head-Attention的作用是什么?这个八股文一般的问题相信大家也都司空见惯了,《Attention Is All You Need》这篇文章中作者解释的原话是:将隐状态向量分成多个头,形成多个子语义空间,可以让模型去关注不同维度语义空间的信息。不过真的是这样的吗?如果是,这些子语义空间、不同维度的语义空间信息到...
Multi-head attention的出发点就在于获得多变的特征表达，因此不同head的attention之间的线性变化参数也是不...