安装完成后,对比一下”autodl-tmp/ChatGLM3/chatglm3-6b“文件夹中已下载的文件和huggingface中”Files and Versions“中的提供的文件,查看是否全部下载完毕,一般情况下,七个较大的模型权重文件无法统一下载下来,需要再次逐个安装 权重文件的安装方式为:点击文件进入如下页面,右键点击”download“选择”复制链接“,然后...
通过运行inference.py脚本,可以对微调后的模型进行基本的推理测试,注意改路径: python inference.py \ --pt-checkpoint "/root/autodl-tmp/ChatGLM3/finetune_chatmodel_demo/output/advertise_gen_pt-20231128-160019-128-2e-2/checkpoint-50" \ --model /root/autodl-tmp/ZhipuAI/chatglm3-6b 验证结果 以下...
LORA 微调: 1张显卡,占用 14082MiB 显存。 实机配置 目前我有三个方案: 方案1:MacBookProM1 16GB(平常用的机器,可以支撑起 LoRA…勉强跑 不推荐) 方案2:找算法组借的 2070 Super 8GB * 2 一共16GB显存(但是不能微调,后续说) 方案3:租的 3090 24GB * 1(完美,ChatGLM3-6B的微调任务都在该机器上完成...
ChatGLM3-6B通过GLM预训练框架和自回归空格填充任务实现文本生成和理解,适用于多种NLP任务。 LoRA微调技术 LoRA(Low-Rank Adaptation)是一种高效的微调技术,它通过更新模型中的低秩矩阵来适应新任务,而不需要调整整个模型参数。这种方法可以大大减少微调所需的计算资源和时间,同时保持模型的通用性。 LoRA微调步骤 1. ...
BASE_MODEL_PATH=/ChatGLM3/chatglm3-6b-32kDATASET_PATH=/ChatGLM3/finetune_chatmodel_demo/scripts/my_data.json (8) 执行微调,有全量微调和P-Tuning v2 微调两种 参考显存用量 P-Tuning V2: PRE_SEQ_LEN=128, DEV_BATCH_SIZE=1, GRAD_ACCUMULARION_STEPS=16, MAX_SEQ_LEN=2048 配置下约需要21GB显...
5 模型微调 5.1 数据准备 5.2 LORA微调 5.3 微调前后对比 6 总结 1.什么是ChatGLM3-6B ChatGLM3是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性: ...
sudo apt-get install git-lfsgit lfs installgit clone https://huggingface.co/THUDM/chatglm3-6b ModelScope 针对国内服务器只能采取这种方式才有这种方式下载模型，速度会快很多！！！新建 download.py，粘贴以下内容 from modelscope import snapshot_downloadmodel_dir = snapshot_download("ZhipuAI/chatglm3-...
首先创建一个目录用于存放处理后的微调数据集：mkdir./finetune_dataset/chatglm3-6b-hf_1/ 然后使用以下 Python 脚本处理微调数据集：python./preprocess_data.py \--input./finetune_dataset/train-00000-of-00001-a09b74b3ef9c3b56.parquet \--tokenizer-name-or-path /data0/docker_files/modellink_test_...
参数配置 官方微调目录:/root/autodl-tmp/ChatGLM3/finetune_demo配置文件目录:/root/autodl-tmp/ChatGLM3/finetune_demo/configs,当中我们关注lora.yaml 官方数据 训练的话,参数中需要一个:数据集的路径 下载数据 官方推荐的数据集是:AdvertiseGen,我们需要对其进行一些转换,才可以适配ChatGLM3-6B下载方式: ...
模型选择:选择ChatGLM3-6B模型进行微调。 训练策略:使用AdamW优化器,设置学习率为5e-5,进行10个epoch的训练。 结果评估:通过准确率、召回率和F1值等指标评估模型性能。 在实践中,我们发现微调后的模型在测试集上取得了显著的性能提升,准确率从80%提高到90%以上。 七、推荐工具与平台 在进行ChatGLM3微调时,推荐...