在这篇博文中,我们将利用传统 vanilla Transformer (参考 Vaswani 等 2017 年发表的论文) 进行单变量概率预测 (univariate probabilistic forecasting) 任务 (即预测每个时间序列的一维分布) 。 由于 Encoder-Decoder Transformer 很好地封装了几个归纳偏差,所以它成为了我们预测的自然选择。 传统vanilla Transformer 论文链...
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和展望未来发展等精彩内容。创建 PyTorch 数据加载器 ...
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里,我们为大家介绍了传统时间序列预测和基于 Transformers 的方法,也一步步准备好了训练所需的数据集并定义了环境、模型、转换和InstanceSplitter。本篇内容将包含从数据加载器,到前向传播、训练、推理和展望未来发展等精彩内容。 创建PyTorch 数据加载器 有...
在《使用 Transformers 进行概率时间序列预测》的第一部分里,我们为大家介绍了传统时间序列预测和基于 Transformers 的方法,也一步步准备好了训练所需的数据集并定义了环境、模型、转换和InstanceSplitter。本篇内容将包含从数据加载器,到前向传播、训练、推理和展望未来发展等精彩内容。 创建PyTorch 数据加载器 有了数据...
Transformers 相对于其他架构的另一个好处是,我们可以将缺失值 (这在时间序列场景中很常见) 作为编码器或解码器的额外掩蔽值 (mask),并且仍然可以在不诉诸于填充或插补的情况下进行训练。这相当于 Transformers 库中 BERT 和 GPT-2 等模型的attention_mask,在注意力矩阵 (attention matrix) 的计算中不包括填充词元...
🤗 Transformers是Facebook AI所开发的一个开源库,它提供了大量预训练的深度学习模型,包括各种基于Transformer的模型。使用🤗 Transformers进行时间序列预测可以方便地利用这些预训练模型进行快速开发和实验。下面是一个使用🤗 Transformers进行概率时间序列预测的示例: 导入必要的库和模块: import numpy as np import ...
Transformers 库带有一个普通的概率时间序列 Transformer 模型,简称为Time Series Transformer。在这篇文章后面的内容中,我们将展示如何在自定义数据集上训练此类模型。 设置环境 首先,让我们安装必要的库: Transformers、 Datasets、 Evaluate、 Accelerate 和GluonTS。
随着深度学习和自然语言处理(NLP)的快速发展,🤗 Transformers库为时间序列预测提供了新的可能性。本文将通过一系列实例和生动语言,探索如何使用🤗 Transformers进行概率时间序列预测,并分享实践经验和解决方法。 一、了解时间序列预测 时间序列预测是对按时间顺序排列的数据点进行预测的任务。通常,这些数据点反映了某个...
使用🤗Transformers进行NLP的数据增广的4种常用方法 自然语言处理(NLP)项目面临的最常见问题之一是缺乏数据的标记。标记数据是昂贵并且耗时的。数据增广技术通过对数据进行扩充,加大训练的数据量来防止过拟合和使模型更健壮,帮助我们建立更好的模型。在这篇文章中,我将介绍我们如何使用Transformers库和预训练模型,如BERT...
如果你想使用最新版本的 transformers,Colab 团队也提供了一个简单的命令!pip install transformers --upgrade,以便于随时更新至最新版本。 除了提升用户体验,这一更新还开启了一些有趣的新功能。例如,用户现在可以直接从 Pandas 读取 Hugging Face 数据集,这将大大简化数据处理和模型训练的工作流程。