近日,由哈尔滨工业大学讯飞联合实验室推出的Chinese-LLaMA-Alpaca-2项目引起了广泛关注。该项目是中文LLaMA&Alpaca大模型的第二期,基于Meta发布的可商用大模型Llama-2进行开发,推出了一系列全新的中文大语言模型。本文将对这个备受瞩目的开源项目进行全面介绍。 项目亮点 Chinese-LLaMA-Alpaca-2项目在多个方面都有显著特色...
Chinese-Alpaca-2-LoRA-13B-16K 指令模型 Llama-2-13B-hf 1.5 GB Chinese-Alpaca-2-LoRA-13B-16K 指令模型 Llama-2-13B-hf 1.5 GB 文件列表 chinese-alpaca-2-lora-13b-16k.zip chinese-alpaca-2-lora-13b-16k.zip (1341.95M) 下载 File Name Size Update Time adapter_config.json 471 2023-08-31 12...
Chinese-Alpaca-2-16K (7B/13B) 操作系统 Linux 详细描述问题 在Code Llama中,通过设置rope_theta来让长文本的效果更好,请问当前chinese-alpaca-2-13b-16k训练过程中修改了这个参数吗? "rope_theta": 1000000(https://huggingface.co/codellama/CodeLlama-7b-hf/blob/main/config.json) https://scontent-hk...
Chinese-Alpaca-2-13B-16K 指令模型 24.7 GB 文件列表 config.json generation_config.json pytorch_model.bin.index.json SHA256.md special_tokens_map.json tokenizer.model tokenizer_config.json pytorch_model-00003-of-00003.bin pytorch_model-00001-of-00003.bin pytorch_model-00002-of-00003.bin config....
(3)我们评估了中文Alpaca7B和13B模型在各种自然语言理解(NLU)和自然语言生成(NLG)任务上的性能,证明了它们在中文语言任务背景下相较于原始LLaMA模型有显著的改进。 2 中文LLaMA (1)我们建议使用额外的中文标记扩展LLaMA分词器,并调整模型以适应新的分词器。
Is there LoRA files forChinese-Alpaca-2-LoRA-13Bthat is used to merge intoChinese-LLaMA-2-13Binstead ofmeta-llama/Llama-2-13b-hf? WasChinese-Alpaca-2-LoRA-13BLora created frommeta-llama/Llama-2-13b-hfor fromChinese-LLaMA-2-13B?
目前已开源的模型:Chinese-LLaMA-2(7B/13B), Chinese-Alpaca-2(7B/13B)。开源地址: https://github.com/ymcui/Chinese-LLaMA-Alpaca-2 看一下它的对话效果。 模型特点 优化的中文词表 在二期中,团队以一期中文字词(LLaMA:49953,Alpaca:49954)基础上的重新设计了新词表(大小:55...
本次主要选择Chinese-LLaMA-Alpaca-2来进行指令微调,部署操作。 技术报告链接:Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca 本次微调使用电脑配置: 0、大模型产业技术交流群 欢迎大家微信搜索“AIGCmagic”关注公众号,回复“大模型”,加入大模型交流群,一起交流学习。
consolidated.xx.pth,不同模型里个数不同,7B是1个,13B是2个 checklist.chk是checksum文件,手工下载的应使用这个文件里的checksum值对文件进行验证 params.json 参数文件 不同系统下检查md5的命令 windows certutil -hashfile 文件名 MD5 mac md5 文件名 linux md5sum 文件名(待确认) 5. 下载chinese-alpaca的补充...
与其他LLaMA模型一样,目前的Chinese-LLaMA-2-16K不适合直接拿来用于对话 Chinese-Alpaca-2-16K将在下一个版本推出,敬请关注 其他更新 添加了Alpaca-2-13B输出样例(#131) llama.cpp:删除了中的-eps选项以适配GGUF新版模型(#162) llama.cpp:更新了新版k-quant模型PPL结果(#172) 更新训练策略(#150) 更新openai...