如果能接受 2-3%损失,8B 模型用 4bit 量化,70B 模型用 3bit 量化。 目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。
OPENAI_PROXY_URL的值就是我们刚刚复制的内网 API 接口地址,记得要在末尾加上/v1。 OPENAI_MODEL_LIST的值是+Llama3-8B-Chinese-Chat.q4_k_m.GGUF。 OPENAI_API_KEY的值随便瞎写一个就行。 然后点击右上角的「部署应用」,部署完成后,直接点击应用的「详情」进入该应用的详情页面,等待实例状态变成 running ...
方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bithuggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit 1. 简介 如题目所示,我们开源了Llama3-8B-Chinese-Chat模型(基于Llama3-8B-Instruct[1]微调,模型下载请详见下面的huggingface链接),这是第一个使用ORPO[2]微调的中...
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型[1],该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。
而为满足国内开发者需求,国家超算互联网还提供多款Llama系列原生、量化、优化模型,包括Llama-3-8B-chinese-chat中文微调版本,以提高其在中文环境下表现,更有GGUF/GPTQ等多款量化版本模型上线。 更易用、安全的Llama大模型 国家超算互联网上线的Llama模型版本更安全和易用,平台上的Llama系列源...
OPENAI_PROXY_URL的值就是我们刚刚复制的内网 API 接口地址,记得要在末尾加上/v1。 OPENAI_MODEL_LIST的值是+Llama3-8B-Chinese-Chat.q4_k_m.GGUF。 OPENAI_API_KEY的值随便瞎写一个就行。 然后点击右上角的「部署应用」,部署完成后,直接点击应用的「详情」进入该应用的详情页面,等待实例状态变成 running ...
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。
1.模型下载 1.1 我们选择zhouzr/Llama3-8B-Chinese-Chat-GGUF这个人模型下载,为什么选择这个模型呢,因为这个版本的模型支持多种量化模型(Q2、Q3、Q4、Q5、Q6) 根据我们电脑上显卡内存大小我们选择Llama3-8B-Chinese-Chat.q4_k_m.GGUF 模型文件。 将这个模型文件下载到本地电脑上(F:\AI\Llama3-8B-Chinese-Ch...