官方示例中使用AdvertiseGen 数据集来进行微调,因此,在此示例中也使用AdvertiseGen 数据集。 首先在autodl-tmp/目录下建立一个data文件夹 然后从官方提供的Google Drive或者Tsinghua Cloud中下载 AdvertiseGen 数据集,将解压后的 AdvertiseGen 目录放到data目录下并自行转换为如下格式数据集。 请注意,现在的微调代码中加入...
四、部署微调后的模型 MODEL_PATH 为自己的 chatglm3-6b 的路径,PT_PATH 指向微调后输出的路径,PT_PATH 的路径一般如下位置和格式: "ChatGLM3/finetune_chatmodel_demo/output/tool_alpaca_pt-20231227-061735-128-2e-2" 1、对于全量微调,可以使用以下方式进行部署 cd ../composite_demo MODEL_PATH="path t...
python tools/checkpoint/convert_ckpt.py \--model-type GPT \--loader chatglm3_hf \--saver megatron \--target-tensor-parallel-size 1 \ # 参数与微调配置保持一致--target-pipeline-parallel-size 2 \ # 参数与微调配置保持一致--load-dir /data0/docker_files/modellink_test_lfx_07/weights/chat...
如果从你从 HuggingFace 下载比较慢,也可以从ModelScope中下载。 2.4 模型微调 请参考ChatGLM3-6B 微调示例。 2.5 网页版对话 Demo 可以通过以下命令启动基于 Gradio 的网页版 demo: 代码语言:javascript 代码运行次数:0 复制 Cloud Studio代码运行 python web_demo.py 可以通过以下命令启动基于 Streamlit 的网页版 ...
(6)Ctrl+S 保存文件,并将文件重命名, 这里的示例是my_data.json,用户可根据自己的喜好更改 (7)修改微调的数据集路径,修改/ChatGLM3/finetune_chatmodel_demo/scripts/finetune_pt_multiturn.sh (如果使用全量微调,则修改finetune_ds_multiturn.sh) ...
选择合适的微调数据集是模型微调成功的关键。ChatGLM3-6B支持多种格式的数据集,包括多轮对话格式和输入输出格式。作为示例,我们可以使用ToolAlpaca或AdvertiseGen等数据集进行微调。 2. 数据格式转换 ChatGLM3-6B微调需要特定的数据格式,通常包括conversations字段,其中包含多个对话轮次,每个轮次包含role(角色)和content(内...
这种方法可以大大减少微调所需的计算资源和时间,同时保持模型的通用性。 LoRA微调步骤 1. 环境准备 操作系统:Ubuntu 22.04 或更高版本 Python版本:3.8 或更高 GPU:推荐使用NVIDIA RTX 4090(24GB)或更高配置 依赖库:transformers, peft, datasets, accelerate等 安装依赖库(示例命令): pip install transformers==...
正常启动(注意模型的位置,可以vim查看cli_demo.py中的MODEL_PATH) 微调依赖 # 官方准备的微调示例cd/root/autodl-tmp/ChatGLM3/finetune_demo/# 安装依赖pipinstall-rrequirements.txt 等待依赖安装完毕 本章小结 到此,环境的准备工作已经完成!下一节我们开始微调!
2.4 模型微调 请参考ChatGLM3-6B 微调示例。 2.5 网页版对话 Demo 可以通过以下命令启动基于 Gradio 的网页版 demo: python web_demo.py 可以通过以下命令启动基于 Streamlit 的网页版 demo: streamlit run web_demo2.py 网页版 demo 会运行一个 Web Server,并输出地址。在浏览器中打开输出的地址即可使用。 经...
我们仅提供了单机多卡/多机多卡的运行示例,因此您需要至少一台具有多个 GPU 的机器。本仓库中的默认配置文件中,我们记录了显存的占用情况: SFT 全量微调: 4张显卡平均分配,每张显卡占用 48346MiB 显存。 P-TuningV2 微调: 1张显卡,占用 18426MiB 显存。