这篇文章[1]采用了 conditional diffusion model 来做时间序列的 imputation 以及 forecasting 任务。本文的亮点在于,diffusion model 的网络结构不再是 CSDI[2] 中的transformer 结构,而是 structured state-space model(SSM)。我们可以把这种结构理解为 RNN、一维 CNN
State Space Model 首先,state space model可以定义成下式 x′(t)=Ax(t)+Bu(t)y(t)=Cx(t)+Du(t) 其中x是state vector, u为input,y为output,D视为0矩阵。 在文章中,作者利用bilinear method做discretization(涉及到解微分方程和一些信号处理知识,这里不做介绍),得到下列的表示,而下列左侧的表示就是一...
原文:Alcaraz, J. M. L., & Strodthoff, N. (2022).Diffusion-based time series imputationand forecasting withstructured state space models.arXiv preprint arXiv:2208.09399. 题目:基于扩散模型的时间序列插补,与结构化状态空间模型(S4)的时序预测 Abstract:提出了SSSD^S4模型,结合了条件扩散模型和状态空间...
以上内容出自 outlines的paper:Efficient Guided Generation for Large Language Model 具体内容可自行查看。 以常见的Json格式约束为例(Fast JSON Decoding for Local LLMs with Compressed Finite State Machine), 有多种框架可以利用本地模型实现约束解码, 如: outlines,SGLang等。 vllm+outlines 实现结构化输出 依赖...
考虑到DRL 这样model-free learning的setting下,直接拓展SVP是不行的,由于state-action space太大了,并且想要verify low-rank这一点也几乎无法做到 在例如DQN这样的model-free DRL algorithm的setting下,从两点进行考虑: i. 首先,我们希望利用low-rank structure的target已经未必是optimal Q function了,因为通常其难以...
In this article, we describe the simple data model provided by Bigtable, which provides customers with dynamic control over data layout and format, and describes the design and implementation of Bigtable. Bigtable 是一个分布式存储系统,该系统旨在扩展到非常大的规模:数千个商用服务器中的PB级数据。
enabling accurate inversion and reconstruction with the precision of a second-order solver while maintaining the practical efficiency of a first-order Euler method. This solver achieves a 3\times runtime speedup compared to state-of-the-art ReFlow inversion and editing techniques, while delivering sma...