https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bithuggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit 1. 简介 如题目所示,我们开源了Llama3-8B-Chinese-Chat模型(基于Llama3-8B-Instruct[1]微调,模型下载请详见下面的huggingface链接),这是第一个使用ORPO[2]微调的中...
OPENAI_PROXY_URL的值就是我们刚刚复制的内网 API 接口地址,记得要在末尾加上/v1。 OPENAI_MODEL_LIST的值是+Llama3-8B-Chinese-Chat.q4_k_m.GGUF。 OPENAI_API_KEY的值随便瞎写一个就行。 然后点击右上角的「部署应用」,部署完成后,直接点击应用的「详情」进入该应用的详情页面,等待实例状态变成 running ...
OPENAI_PROXY_URL的值就是我们刚刚复制的内网 API 接口地址,记得要在末尾加上/v1。 OPENAI_MODEL_LIST的值是+Llama3-8B-Chinese-Chat.q4_k_m.GGUF。 OPENAI_API_KEY的值随便瞎写一个就行。 然后点击右上角的「部署应用」,部署完成后,直接点击应用的「详情」进入该应用的详情页面,等待实例状态变成 running ...
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。 直接在浏览器中打...
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型[1],该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。
方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
- GGUF版本下载 (ollama、lmstudio可用):https://huggingface.co/shareAI/llama3.1-8b-instruct-dpo-zh/blob/main/llama3.1_8b_chinese_chat_q4_k_m-shareAI.gguf - openbuddy - openbuddy-llama3.1-8b(SFT中文):https://modelscope.cn/models/OpenBuddy/openbuddy-llama3.1-8b-v22.1-131k 0 comments...
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。
FROM /path/to/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 将/path/to/替换为你的模型文件实际存放路径。 2. 创建Ollama模型 使用ollama create命令根据Modelfile创建一个新的模型。例如: ollama create my-llama3-chinese -f ./Modelfile 这条命令会读取Modelfile中的配置,并创建一个名为my-llama3-chinese...
目前效果最好的中文微调版是 HuggingFace 社区的zhouzr/Llama3-8B-Chinese-Chat-GGUF 模型,该模型采用 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、弱智吧(没错,就是那个弱智吧~)数据集,使模型能够使用中文回答用户的提问。 下面我们来看看如何在三分钟内快速部署这个模型吧。