https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bithuggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit 1. 简介 如题目所示,我们开源了Llama3-8B-Chinese-Chat模型(基于Llama3-8B-Instruct[1]微调,模型下载请详见下面的huggingface链接),这是第一个使用ORPO[2]微调的中...
综合来说,如果追求无任何性能损失,8B 模型用 8bit 量化,70B 模型用 4bit 量化。 如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_m...
综合来说,如果追求无任何性能损失,8B 模型用 8bit 量化,70B 模型用 4bit 量化。 如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_m...
本项目推出了基于Llama-3开发的中文开源大模型Llama-3-Chinese和Llama-3-Chinese-Instruct,本次开源了8B模型版本。 Llama-3-Chinese-8B:基座模型,在Llama-3-8B上使用约120GB语料进行增量中文训练,与一期Plus系列模型、二期模型一致; Llama-3-Chinese-8B-Instruct:指令/chat模型,在Llama-3-Chinese-8...
如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问...
综合来说,如果追求无任何性能损失,8B 模型用 8bit 量化,70B 模型用 4bit 量化。 如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_...
如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型[1],该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户...
zhichen微调版:https://github.com/seanzhang-zhichen/llama3-chinese shenzhi-wang微调版:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat https://wisemodel.cn/models/BAAI/Bunny-Llama-3-8B-V llava-llama-3-8b:https://huggingface.co/xtuner/llava-llama-3-8b-v1_1 ...
如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问...
🔥 We provide the officialq8_0 GGUFversion of Llama3-8B-Chinese-Chat-v2.1athttps://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit! 🔥 We provide the officialf16 GGUFversion of Llama3-8B-Chinese-Chat-v2.1athttps://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GG...