针对中文微调的Chinese-Alpaca-LoRA项目地址LLaMA部署项目Dalai项目地址前者“在原版的基础上扩充了中文词表,使用了中文纯文本数据进行二次预训练”,得出了 Chinese-LLaMA 模型,其中文性能得到显著提升(训练细…
使用LoRA对Chinese-LLaMA-Alpaca进行微调。整体的结构非常简单,构造好相应格式的数据后就可以开始训练。 Facebook官方发布的LLaMA模型禁止商用,并且官方没有正式开源模型权重(虽然网上已经有很多第三方的下载地址)。为了遵循相应的许可,目前暂时无法发布完整的模型权重,敬请各位理解(目前国外也是一样)。自行搜索下载地址。
此模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。 - 飞桨AI Studio
网址:https://huggingface.co/Bandifishing/Nous-Hermes-13b-Chinese 该模型是原版非量化模型,要加载的话建议启动bitsandbyts的load-in-4bit或load-in-8bit功能(懒人包的启动程序的设置页面有选项),不然会爆显存。 今早我查阅了Chinese-LLaMA-Alpaca的文档,也把chinese-alpaca-13b的lora和Nous-Hermes-13b融合了,并...
Chinese-Alpaca-2-LoRA-13B-16K 指令模型 Llama-2-13B-hf 1.5 GB Chinese-Alpaca-2-LoRA-13B-16K 指令模型 Llama-2-13B-hf 1.5 GB 文件列表 chinese-alpaca-2-lora-13b-16k.zip chinese-alpaca-2-lora-13b-16k.zip (1341.95M) 下载 File Name Size Update Time adapter_config.json 471 2023-08-31 12...
Is there LoRA files forChinese-Alpaca-2-LoRA-13Bthat is used to merge intoChinese-LLaMA-2-13Binstead ofmeta-llama/Llama-2-13b-hf? WasChinese-Alpaca-2-LoRA-13BLora created frommeta-llama/Llama-2-13b-hfor fromChinese-LLaMA-2-13B?
|A quick evaluation||Evaluation code with standard HuggingFace pipeline| |Bot with Interface||Interactive Chatting Bot using Gradio
chinese_alpaca_plus_lora_7b.zip 星 星尘局 2枚 CC BY-NC-SA 4.0 自然语言处理 0 3 2023-07-04 详情 相关项目 评论(0) 创建项目 文件列表 chinese_alpaca_plus_lora_7b.zip chinese_alpaca_plus_lora_7b.zip (1002.18M) 下载 File Name Size Update Time YOU_MUST_ALSO_DOWNLOAD_LLAMA_PLUS_7B.md ...
对于更多信息,请访问我们的主页面https://github.com/LC1332/Luotuo-Chinese-LLM, Chinese-alpaca-lora这个仓库将只用于存储LLaMA有关的内容。如果你希望一个更好的中文语言模型,参考主页中的驼铃项目。 This is NOT an official product of SenseTime
提交前必须检查以下项目 请确保使用的是仓库最新代码(git pull),一些问题已被解决和修复。 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案。 第三方插件问题:例如llama.cpp、LangChain、text-generation-webui等,同时建议到对