这篇文章[1]采用了 conditional diffusion model 来做时间序列的 imputation 以及 forecasting 任务。本文的亮点在于,diffusion model 的网络结构不再是 CSDI[2] 中的transformer 结构,而是 structured state-space model(SSM)。我们可以把这种结构理解为 RNN、一维 CNN 以及 transformer 的平替结构,都是 seq-to-seq ...
State Space Model 首先,state space model可以定义成下式 x′(t)=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t) 其中x是state vector, u为input,y为output,D视为0矩阵。 在文章中,作者利用bilinear method做discretization(涉及到解微分方程和一些信号处理知识,这里不做介绍),得到下列的表示,而下列左侧的表示就是一种...
原文:Alcaraz, J. M. L., & Strodthoff, N. (2022). Diffusion-based time series imputation and forecasting with structured state space models.arXiv preprint arXiv:2208.09399. 题目:基于扩散模型的时间序列插补,与结构化状态空间模型(S4)的时序预测 Abstract:提出了SSSD^S4模型,结合了条件扩散模型和状态...
如此,S4的定义就出来了:序列的结构化状态空间——Structured State Space for Sequences,一类可以有效处理长序列的 SSM(S4所对应的论文为:Efficiently Modeling Long Sequences with Structured State Spaces) 参考博客: Albert Gu本人的scratch tuturial 很详细 csdn某大佬总结 论文: S4 HiPPO 本文使用 Zhihu On VSCod...
2 状态空间模型state space model 问题来了,我们既想构造任意阶数的、不受马尔可夫假设限制的序列模型,同时能够使⽤较少数量的⾃由参数确定。怎么做呢?引入隐变量。 对于每 个观测x_n,我们引⼊⼀个对应的潜在变量z_n(类型或维度可能与观测变量不同)。我们现在假设潜在变量构成了马尔科夫链,得到的图结构被...
While for Space Invaders, a large number of object slots (K = 5 ) appears to be beneficial, C-SWM achieves best results with only a single object slot in Atari Pong 做法 1 结构化state embedding: structure each state embedding as a set of object representations and their relations, modeled...
考虑到DRL 这样model-free learning的setting下,直接拓展SVP是不行的,由于state-action space太大了,并且想要verify low-rank这一点也几乎无法做到 在例如DQN这样的model-free DRL algorithm的setting下,从两点进行考虑: i. 首先,我们希望利用low-rank structure的target已经未必是optimal Q function了,因为通常其难以...
以上内容出自 outlines的paper:Efficient Guided Generation for Large Language Model 具体内容可自行查看。 以常见的Json格式约束为例(Fast JSON Decoding for Local LLMs with Compressed Finite State Machine), 有多种框架可以利用本地模型实现约束解码,如: outlines,SGLang等。 vllm+outlines 实现结构化输出 依赖...