w2v是超级有效的文本表示方法,开创了NNLM;而elmo是w2v表征思想的继承者,利用bilstm的上下文信息捕捉能力,目的就是做出效果好的动态文本表征;结果直接蹦出来一个attention,打破了lstm、rnn、cnn的思路框架,提出了新的计算方式,比较创新;transformer是基于attention的seq2seq模型,打的是基于rnn的seq