score(h,s)=<v, tanh(W_1h+W_2s)>[1] \\ score(h,s)=<W_1h, W_2s> \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ [2] <> 代表矩阵点积。至于为什么要用 Mul 来 完成 Self-attention,作者的说法是为了计算更快。因为虽然矩阵加法的计算更简单,但是 Add 形式套着tanh和v,相当于一个完...