近日,LSTM(长短期记忆网络)的创始人Jürgen Schmidhuber再度引发热议,他声称自己是在1991年就提出了线性复杂度Transformer的概念,并首次使用“注意力”这一术语,这为学界对注意力起源的探讨增添了新的篇章。 自2017年Transformer模型问世以来,其在自然语言处理等多个领域的成功应用使得注意力机制几乎成为了现代AI的代名词。