model_dir = snapshot_download('baichuan-inc/Baichuan2-7B-Chat',cache_dir='/root/autodl-tmp', revision='v1.0.4') 1. 2. 3. 4. 指令集构建: LLM 的微调一般指指令微调过程。所谓指令微调,是说我们使用的微调数据形如: { "instrution":"回答以下用户问题,仅输出答案
4 changes: 2 additions & 2 deletions 4 BaiChuan/04-Baichuan2-7B-chat+lora+微调.md Original file line numberDiff line numberDiff line change@@ -72,13 +72,13 @@ LLM 的微调一般指指令微调过程。所谓指令微调,是说我们使```Python def process_func(example):...
6 changes: 3 additions & 3 deletions 6 BaiChuan/04-Baichuan2-7B-chat+lora+微调.md Original file line numberDiff line numberDiff line change @@ -167,7 +167,7 @@ trainer = Trainer( ) ``` : 中文对话式大语言模型 LLMPruner:大语言模型裁剪工具 项目简介 Firefly(流萤)是一个开源的中文大语言模型项目,支持QLoRA和全量参数微调Baichuan2、CodeLLaMA、LLaMA2、LLaMA、Qwen、Baichuan、ChatGLM2、InternLM、Ziya、Bloom、XVERSE等开源模型。 正如我们的项...
4 changes: 2 additions & 2 deletions 4 BaiChuan/04-Baichuan2-7B-chat+lora+微调.md Original file line numberDiff line numberDiff line change@@ -72,13 +72,13 @@ LLM 的微调一般指指令微调过程。所谓指令微调,是说我们使```Python def process_func(example):...
2 changes: 1 addition & 1 deletion 2 BaiChuan/04-Baichuan2-7B-chat Lora 微调 .ipynb Original file line numberDiff line numberDiff line change @@ -449,7 +449,7 @@ { "data": { "text/plain": [ "LoraConfig(peft_type=<PeftType.LORA: 'LORA'>, auto_mapping=None, base_model_name_...