一些常见的结构化状态空间序列模型包括隐马尔可夫模型(Hidden Markov Model, HMM)、条件随机场(Conditional Random Field, CRF)等。 结构化状态空间序列模型被广泛应用于自然语言处理、机器翻译、语音识别、图像处理等领域,用于解决一些与时序数据相关的问题,如序列标注、音频识别、模式识别等。
目前效果最好的model都是deep的,因此基本都是黑盒。右下角是一个典型的黑盒模型的架构。有一个归一化层,一个表示层,和一个线性层,然后最后再residual一下。 sequence是离散的,这里作者引入了signal的概念,用于形容连续的data,例如右边的四个。signal是连续的物理过程生成的数据。 signal的主要出现形式有下面这些: ...
状态空间模型的新宠——Mamba2模型 | Mamba 是一种新的状态空间模型架构,在语言建模等信息密集数据上显示出良好的性能,Mamba基于结构化状态空间模型的,并使用FlashAttention进行高效的硬件设计和实现。 Mamba 享有快速推理(吞吐量比 Transformer 高 5 倍)和序列长度线性缩放,并且其性能在高达百万长度序列的实际数据上得...