时间序列和大语言模型看似是两个不相关的领域,但它们之间却 有着一定的联系和关联。在时间序列数据处理中,大语言模型可以被 应用于序列数据的特征提取和模式识别,帮助我们更好地理解和预测 时间序列数据的走势和趋势。 在时间序列数据的分析中,我们通常会面对很多挑战,比如数据 ...
• 多样化的时间序列数据集- 我们合成了一个全面的时间序列数据集,确保广泛代表各种类型的时间序列,包括我们在分类法中确定的特征范围。 • LLMs的评估 - 我们的评估提供了对LLMs在理解时间序列方面的优势和挑战的洞察,包括它们如何处理数据的格式、查询数据点在系列中的位置以及时间序列的长度。 2 相关工作 2.1...
KernelSynth组装GP核来创建新的时间序列,利用一组基核来处理常见的时间序列模式,如趋势、周期性和季节性。通过随机选择这些核,并通过加法或乘法将其组合在一起,产生不同的时间序列数据。 目标函数 Chronos是通过使用分类交叉熵损失函数将预测作为分类问题来训练时间序列数据。模型在表示量化时间序列数据的标记化词汇表上...
使用大型语言模型(LLMs)进行时间序列推理可以通过整合三种主要的分析任务来增强时间序列推理:因果推理、问答和辅助上下文预测。 因果推理涉及假设观察到的时间序列模式背后的潜在原因,使模型能够识别最有可能产生给定时间序列数据的场景。 问答使模型能够解释和回应关于时间序列的事实性查询,如识别趋势或对数据变化进行反事实...
大型语言模型 (LLM)在自然语言处理和计算机视觉等领域得到了广泛应用。除了文本、图像和图形之外,LLM还具有分析时间序列数据的巨大潜力,使气候、物联网、医疗保健、交通、音频和金融等领域受益。这篇综述论文对利用LLM进行时间序列分析的各种方法进行了深入的探索和详细的分类。强调了LLM在原始文本数据训练与时间序列数据...
微调预训练大语言模型：将时间序列数据与辅助文本信息（如相关新闻、天气、节假日等）匹配、整合为统一的输入和输出文本数据集。在输入中明确标注关键信息并组成逻辑语句，输出则为预测期内时间序列的实际值。基于此类上下文感知的高质量文本数据集，通过微调预训练大语言模型，将时间序列数值回归转化为基于文本的生成式...
时间序列大语言模型是将语言模型与时间序列数据结合起来,用于生成具有时间相关性的文本数据。时间序列大语言模型在自然语言处理领域中具有潜在的应用前景,可以应用于文本生成、预测时间序列数据、时序数据建模等任务。 时间序列大语言模型的关键挑战之一是如何处理时间序列数据的序列性和时间相关性。与传统的语言模型相比,时间...
这项研究表明,最好还是让传统的时间序列预测方法继续使用它们习惯的方式,而不是尝试使用大型语言模型来处理时间序列任务。 但是这并不意味着不做任何事情;在时间序列和大型语言模型的交叉领域,还有一些新的、可能值得探索的有趣方向。 论文地址: https://avoid.overfit.cn/post/7877010824204ec79657beb5016f21a1 ...
要将大语言模型应用于时间序列预测,首先需要解决的关键问题是如何将时间序列数据输入到LLMs中。传统的LLMs主要处理文本数据,而时间序列数据通常是数值型的。为了解决这个问题,我们可以借鉴近期在图像和音频处理中的成功经验,使用patching技术对时间序列数据进行tokenize。具体来说,我们可以将时间序列数据视为一系列的小块(...
这项研究表明,最好还是让传统的时间序列预测方法继续使用它们习惯的方式,而不是尝试使用大型语言模型来处理时间序列任务。 但是这并不意味着不做任何事情;在时间序列和大型语言模型的交叉领域,还有一些新的、可能值得探索的有趣方向。 论文地址: https://avoid.overfit.cn/post/7877010824204ec79657beb5016f21a1 ...