本项目将以CBLUE数据集中医疗搜索检索词意图分类(KUAKE-QIC)任务为例进行介绍如何加载本地固定格式数据集进行训练: 本地数据集目录结构如下: data/ ├── train.txt # 训练数据集文件├── dev.txt # 开发数据集文件├── label.txt # 分类标签文件└── data.txt # 可选,待预测数据文件 train.txt(训...
dataset_dir:本地数据集路径,数据集路径中应包含train.txt,dev.txt和label.txt文件;默认为None。 task_name:训练数据集;默认为"KUAKE-QIC"。 max_seq_length:ERNIE模型使用的最大序列长度,最大不能超过512, 若出现显存不足,请适当调低这一参数;默认为128。 model_name:选择预训练模型;默认为"ernie-3.0-base-...
dataset_dir:本地数据集路径,数据集路径中应包含train.txt,dev.txt和label.txt文件;默认为None。 task_name:训练数据集;默认为"KUAKE-QIC"。 max_seq_length:ERNIE模型使用的最大序列长度,最大不能超过512, 若出现显存不足,请适当调低这一参数;默认为128。 model_name:选择预训练模型;默认为"ernie-3.0-base-...