如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。
Llama3-70B-Chinese-Chat isone of the first instruction-tuned LLMs for Chinese & English users with various abilitiessuch as roleplaying, tool-using, and math, built upon themeta-llama/Meta-Llama-3-70B-Instructmodel. 🎉According to the results from C-Eval and CMMLU, the performance of Ll...
数据集主要涉及firefly-train-1.1M、shareAI/CodeChat、shareAI/ShareGPT-Chinese-English-90k、ruozhiba...
70b 中文版:计划中 联通微调版:https://www.modelscope.cn/models/UnicomAI/Unichat-llama3-Chinese/summary Openbuddy微调版:https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-8b-v21.1-8k/summary 破解安全限制系列(暂时只支持英文):
如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问...
- Llama3-70B-Chinese-Chat是一个针对中文和英文用户的LLM模型,具有多种能力。 - Llama3-70B-Chinese-Chat在中文表现上超过了ChatGPT,与GPT-4相媲美。 - Llama3-70B-Chinese-Chat的训练使用了ORPO算法和大量中英文数据集。 - Llama3-70B-Chinese-Chat在中文理解方面表现良好。 - Llama3-70B-Chinese-Chat可以...
如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问...
Base + ORPO偏好中文版:https://modelscope.cn/models/zhuangxialie/Llama3-Chinese-ORPO/summary偏爱长对话 Base预训练 + 海量中文优质数据增量预训练:正在进行中 70b 中文版:计划中 llama3 Pro(加block版,推荐尝试该方案上做更多探索): 首个扩展2Block + ORPO偏好对齐:https://github.com/linjh1118/Llama...
70b 中文版:计划中 by zhuangxialie,因对话模版设置错误,需要用fastchat体验: Base + 中文SFT:https://modelscope.cn/models/zhuangxialie/Llama3_Chinese_Sft/files Base + ORPO:https://modelscope.cn/models/zhuangxialie/Llama3-Chinese-ORPO/summary Instruct + DPO:https://www.modelscope.cn/models...
如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型[1],该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户...