transformers预留了Attention输出，在初始化模型的时候设置output_attentions=True；fromtransformersimportBertTo...
当年从连线性回归都不知道小白,一路从逻辑回归,DNN,CNN,RNN,追到seq2seq,attention,self-attention。从最初用的numpy,到sklearn,到tensorflow。我以为我终于快追到时代的最前沿了,结果最近一个叫图神经网络的东西频繁的出现在我面前。我以前真的没听说过这个东西,翻过很多书都没看到过这个东西,看来又是个新名词。