ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性: 更强大的基础模型:ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度...
LORA 微调: 1张显卡,占用 14082MiB 显存。 实机配置 目前我有三个方案: 方案1:MacBookProM1 16GB(平常用的机器,可以支撑起 LoRA…勉强跑 不推荐) 方案2:找算法组借的 2070 Super 8GB * 2 一共16GB显存(但是不能微调,后续说) 方案3:租的 3090 24GB * 1(完美,ChatGLM3-6B的微调任务都在该机器上完成...
接下来就可以进行多轮对话形式的模型微调,同样在执行用于微调的Shell脚本之前,需要先将模型加载路径和数据加载路径根据自己的实际情况进行修改。 与单轮微调不同的时,在执行多轮微调脚本“finetune_pt_multiturn.sh”时总是报错,提示缺失模型路径和输出路径,但我已经指明这些路径。 bash ./scripts/finetune_pt_multi...
LORA 微调: 1张显卡,占用 14082MiB 显存。 实机配置 目前我有三个方案: 方案1:MacBookProM1 16GB(平常用的机器,可以支撑起 LoRA…勉强跑 不推荐) 方案2:找算法组借的 2070 Super 8GB * 2 一共16GB显存(但是不能微调,后续说) 方案3:租的 3090 24GB * 1(完美,ChatGLM3-6B的微调任务都在该机器上完成...
10、微调模型 官方提供了两种方式,一般使用 P-Tuning v2 微调即可。如果有报错,请查看文文章末的异常集合有无解决方案。 ./scripts/finetune_ds_multiturn.sh # 全量微调 ./scripts/finetune_pt_multiturn.sh # P-Tuning v2 微调 微调过程较长,显卡大概占用 23G 显存: Every 1.0s: nvidia-smi Wed Jan 24...
BASE_MODEL_PATH=/ChatGLM3/chatglm3-6b-32kDATASET_PATH=/ChatGLM3/finetune_chatmodel_demo/scripts/my_data.json (8) 执行微调,有全量微调和P-Tuning v2 微调两种 参考显存用量 P-Tuning V2: PRE_SEQ_LEN=128, DEV_BATCH_SIZE=1, GRAD_ACCUMULARION_STEPS=16, MAX_SEQ_LEN=2048 配置下约需要21GB显...
LORA 微调: 1张显卡,占用 14082MiB 显存。 实机配置 目前我有三个方案: 方案1:MacBookProM1 16GB(平常用的机器,可以支撑起 LoRA…勉强跑 不推荐) 方案2:找算法组借的 2070 Super 8GB * 2 一共16GB显存(但是不能微调,后续说) 方案3:租的 3090 24GB * 1(完美,ChatGLM3-6B的微调任务都在该机器上完成...
python finetune_hf.py data/AdvertiseGen/ THUDM/chatglm3-6b configs/lora.yaml 1. 参数配置 官方微调目录:/root/autodl-tmp/ChatGLM3/finetune_demo配置文件目录:/root/autodl-tmp/ChatGLM3/finetune_demo/configs,当中我们关注lora.yaml 官方数据 ...
GPU型号建议选用一张3090/4090单卡即可，显存一定要选用24G的，不然会爆显存，CUDA版本尽量选新的。选择一张显示可租的卡，点击进入，进行创建示例：设置”基础镜像“，也就是配置服务器的程序运行环境，选择”PyTorch->2.0.0->3.8(ubuntu20.04)->11.8“，完成选择后点击”立即创建“。如此便完成...
下载https://github.com/We-IOT/chatglm3_6b_finetune/blob/main/model_export_hf..py 执行 chatglm3-6b-finetuned就是微调合并后的模型 方法2: 使用LLaMA-Factory的导出模型代码 下载https://github.com/hiyouga/LLaMA-Factory/blob/main/src/export_model.py ...