transformer是基于attention的seq2seq模型,打的是基于rnn的seq2seq,没考虑太多输入词和输出词的扩展性、也就是多任务适配能力; 结果受到bilstm和elmo启发,bert基于attention建立了双向语言模型,gpt倒是觉得双向不重要直接用了单向; bert是mask了输出词,gpt是受到m ...