之前写过利用LSTM的seq2seq小对话model以及在LAS中使用,参数一大训练速度慢的不行,吐槽!相关模型可以参见我的GitHub: https://github.com/DengBoCong/nlp-paper RNN结构在NLP中的优势很明显,但是也有一个很明显的缺点,就是RNN本身的序列...
基于状态空间模型(State Space Model)的Mamba模型最近在深度学习领域有赶超Transformer的势头。其最主要的优势就在于其在长序列任务上的优异性能与较低的计算复杂度。本文就Mamba模型的原理进行解析,分析Mamba模型在结构上与Transformer的不同之处,以及其具有的...