此模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。 - 飞桨AI Studio
1、下载好7B、llama-lora、alpaca-lora到model_hub下。进入到model_hub目录下。 2、将llama转换为hugging face支持的格式:python convert_llama_weights_to_hf.py --input_dir ./ --model_size 7B --output_dir ./7B-hf。如果报错:If this call came from a _pb2.py file, your generated code is out...
Pro版命名(只有Alpaca):ziqingyang/chinese-alpaca-pro-lora-${model_size} Plus版命名:ziqingyang/chinese-${model_name}-plus-lora-${model_size} 基础版命名:ziqingyang/chinese-${model_name}-lora-${model_size} $model_name:llama或者alpaca;$model_size:7b,13b,33b ...
chinese_alpaca_plus_lora_7b.zip 星 星尘局 2枚 CC BY-NC-SA 4.0 自然语言处理 0 3 2023-07-04 详情 相关项目 评论(0) 创建项目 文件列表 chinese_alpaca_plus_lora_7b.zip chinese_alpaca_plus_lora_7b.zip (1002.18M) 下载 File Name Size Update Time YOU_MUST_ALSO_DOWNLOAD_LLAMA_PLUS_7B.md ...
针对中文微调的Chinese-Alpaca-LoRA项目地址LLaMA部署项目Dalai项目地址前者“在原版的基础上扩充了中文词表,使用了中文纯文本数据进行二次预训练”,得出了 Chinese-LLaMA 模型,其中文性能得到显著提升(训练细…
中文Alpaca模型在上述中文LLaMA模型的基础上进一步使用了指令数据进行精调。如希望体验类ChatGPT对话交互,请使用Alpaca模型,而不是LLaMA模型。模型名称训练数据重构模型[1] 大小[2] LoRA下载[3] Chinese-Alpaca-7B 指令2M 原版LLaMA-7B 790M [百度网盘][Google Drive] ...
VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块,使LLaMA模型可以接收视觉信息。在此基础上,使用了中文图文对数据进行了多模态预训练,对齐图像与文本表示,赋予其基本的多模态理解能力;并使用多模态指令数据集精调,增强其对多模态指令的理解、执行和对话能力,目前开源了VisualCLA-7B-v0.1。
chinese_llama_plus_lora_7b 目录相当于 path_to_chinese_llama_or_alpaca_lora 在7B目录下,上次是将 原始模型转换成了 ggml-model-f16.gguf,并int4量化成了 ggml-model-q4_0.gguf (1)使用transformers提供的脚本convert_llama_weights_to_hf.py,将原版LLaMA模型转换为HuggingFace格式 ...
简介:中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署,在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练 地址:https://github.com/OpenLMLab/OpenChineseLLaMA 简介:基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座,对比原版 LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,...
简介:中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署,在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练 地址:https://github.com/OpenLMLab/OpenChineseLLaMA 简介:基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座,对比原版 LLaMA,该模型在中文理解能力和生成能力方面均获得较大提升,...