1、使用 P-Tuning v2 微调 ChatGLM3-6B - 参考信息 2、环境准备 (1)项目工作目录 (2)克隆 https://github.com/THUDM/ChatGLM3 代码 (3)克隆 chatglm3-6b 模型 (4)创建虚拟环境 (5)安装 finetune_chatmodel_demo 所需依赖 (6)更改 torch==2.1.2 为 torch==2.1.2+cu118 3、微调 (1)克隆微调...
所以提出了P-tuning的方法,该方法设计了一种连续可微的virtual token,将Prompt转换为可以学习的Embedding层,使用MLP+LSTM的方式来对Prompt Encoder作为输入层进行处理。相比Prefix Tuning,P-Tuning加入的可微的virtual token,但仅限于输入层,没有在每一层都加;另外,virtual token的位置也不一定是前缀,插入的位置是可选...
https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files 2、P tuning-v2微调机制 ChatGLM3模型内置支持P-tuning v2微调,图7中最左边一列始从Prefix tokens,然后自底向上Prefix Embedding X,这条支线是为后续微调ChatGLM3大模型,预置的微调结构。 图2以第X层GLM Block为例,更为详细地描述P-tuning v2微调是...
方案1,可以作为学习可以,但是由于本身MPS的问题,运行速度并不快,而且M1最高配置只有16GB,非常难受。 方案2,虽然我们的总量够了16GB,达到了LoRA和P-TuningV2的要求,但是要求每张显卡都有可以完整放下模型的空余,也就是说,我们单卡的8GB是不满足的。具体需要13GB,可看上章节LLM-02中的实机运行内容。 方案3,虽然...
ChatGLM3-6B提供了两种微调方式:全量微调和P-Tuning v2。一般推荐使用P-Tuning v2,因为它更加高效。使用以下命令执行P-Tuning v2微调: ./scripts/finetune_pt_multiturn.sh 注意:微调过程可能较长,且显卡占用较高。 五、测试与评估 微调完成后,可以使用官方提供的评估脚本或自行设计测试案例对模型进行评估。评估结...
P-TuningV2 微调: 1张显卡,占用 18426MiB 显存。 LORA 微调: 1张显卡,占用 14082MiB 显存。 实机配置 目前我有三个方案: 方案1:MacBookProM1 16GB(平常用的机器,可以支撑起 LoRA…勉强跑 不推荐) 方案2:找算法组借的 2070 Super 8GB * 2 一共16GB显存(但是不能微调,后续说) ...
LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B(准备环境) 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调
P-Tuning v2:P-Tuning的升级版,在原版的基础上增加了更多的灵活性。除了能够改变注意力分布外,还能够调整模型的层数、节点数等参数,使得模型能够更好地适应不同的任务。 3. 使用LLaMA-Factory进行微调 LLaMA-Factory是一个专门用于微调大模型的工具库。它提供了丰富的微调方法和配置选项,能够帮助用户快速地进行模型...
执行微调,有全量微调和P-Tuning v2 微调两种 参考显存用量 P-Tuning V2: PRE_SEQ_LEN=128, DEV_BATCH_SIZE=1, GRAD_ACCUMULARION_STEPS=16, MAX_SEQ_LEN=2048 配置下约需要21GB显存。 全量微调:./scripts/finetune_ds_multiturn.sh 中的配置(MAX_SEQ_LEN=2048, DEV_BATCH_SIZE=16, GRAD_ACCUMULARION_...
lora.yaml/ptuning.yaml/sft.yaml: 模型不同方式的配置文件,包括模型参数、优化器参数、训练参数等。 这里选择LoRA,配置文件中的参数描述如下: 训练模式 这里主要使用finetune_hf.py该文件进行微调操作。其中的参数 第一个参数:数据集的路径 第二个参数:模型的路径 ...