k_proj,o_proj,gate_proj,down_proj,up_proj" modules_to_save="embed_tokens,lm_head" lora_dropout=0.05 pretrained_model=/data/lsy/Chinese-LLaMA-Alpaca-main/cn_llama_alpaca/7B chinese_tokenizer_path=/data/lsy/Chinese-LLaMA-Alpaca-main/cn_llama_alpaca/7B dataset_dir=/data/lsy/Chinese-LLaMA-A...
第一步肯定是合并,本来是需要 一步一步合并的,但是目前有chinese-alpaca-plus-7B-hf的开源版,可以下载,然后跟LaWGPT-7B-beta1.1合并就可以 python merge.py \ --base_model 'minlik/chinese-alpaca-plus-7B-hf' \ --lora_model 'entity303/LaWGPT-7B-beta1.1' \ --output_dir './models/base_models/...
可以在🤗Model Hub下载以上所有模型,并且使用transformers和PEFT调用中文LLaMA或Alpaca LoRA模型。以下模型调用名称指的是使用.from_pretrained()中指定的模型名称。模型名模型调用名称链接 Chinese-LLaMA-7B ziqingyang/chinese-llama-lora-7b Model Hub Link Chinese-LLaMA-Plus-7B ziqingyang/chinese-llama-plus-lora-...
💡 下图是中文Alpaca-Plus-7B模型在本地CPU量化部署后的实际体验速度和效果。 中文LLaMA-2&Alpaca-2大模型|多模态中文LLaMA&Alpaca大模型|多模态VLE|中文MiniRBT|中文LERT|中英文PERT|中文MacBERT|中文ELECTRA|中文XLNet|中文BERT|知识蒸馏工具TextBrewer|模型裁剪工具TextPruner ...
Chinese-Alpaca-Plus-7B ⭐️指令4M原版LLaMA-7B & Chinese-LLaMA-Plus-7B[4]1.1G[百度网盘] [Google Drive] Chinese-Alpaca-13B指令3M原版LLaMA-13B1.1G[百度网盘] [Google Drive] Chinese-Alpaca-Plus-13B ⭐️指令4.3M原版LLaMA-13B & Chinese-LLaMA-Plus-13B[4]1.3G[百度网盘] ...
chinese_llama_plus_lora_7b 目录相当于 path_to_chinese_llama_or_alpaca_lora 在7B目录下,上次是将 原始模型转换成了 ggml-model-f16.gguf,并int4量化成了 ggml-model-q4_0.gguf (1)使用transformers提供的脚本convert_llama_weights_to_hf.py,将原版LLaMA模型转换为HuggingFace格式 ...
Chinese-Alpaca-2-1.3B 指令模型 2.4 GB [Baidu] [Google] [🤗HF] [🤖ModelScope] [🤗HF] 长上下文版模型 以下是长上下文版模型,推荐以长文本为主的下游任务使用,否则建议使用上述标准版。 模型名称类型大小下载地址GGUF Chinese-LLaMA-2-7B-64K 🆕 基座模型 12.9 GB [Baidu] [Google] [🤗HF] ...
[4] Alpaca-Plus模型的合并方法略有不同,请参考合并教程。 压缩包内文件目录如下(以Chinese-LLaMA-7B为例): chinese_llama_lora_7b/ - adapter_config.json # LoRA权重配置文件 - adapter_model.bin # LoRA权重文件 - special_tokens_map.json # special_tokens_map文件 ...
本次在Chinese-Alpaca-Plus 7B模型的基础上进行领域数据的精调,最后再将精调模型与Chinese-Alpaca-Plus 7B模型合并成为领域模型。 环境和过程概述 公司服务器机器有两块24GB显存的3090,python3.9,NVIDIA-SMI 525.116.04 Driver Version: 525.116.04 CUDA Version: 12.0。
7B:英文LLaMA原始权重 ---7B-hf:英文权重转换为hugging face格式权重 ---chinese-llama-plus-lora-7b:中文llama-7b的lora权重 ---chinese-alpaca-plus-lora-7b:中文alpaca-7b的lora权重 ---chinese-alpaca-7b:合并lora后的最终的模型 ---tokenizer.model:7B文件 ---convert_llama_weights_to_hf.py ---merg...