下载地址:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main。 下载Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf模型文件。 0X02 编写模型文件 Modelfile文件内容如下: # FROM 指定 GGUF 文件的路径 FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 0X03 ...
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bithuggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit 1. 简介 如题目所示,我们开源了Llama3-8B-Chinese-Chat模型(基于Llama3-8B-Instruct[1]微调,模型下载请详见下面的huggingface链接),这是第一个使用ORPO[2]微调的中...
GGUF版本下载 (ollama、lmstudio可用):https://huggingface.co/shareAI/llama3.1-8b-instruct-dpo-zh/blob/main/llama3.1_8b_chinese_chat_q4_k_m-shareAI.gguf GGUF版本国内下载 (hf-mirror 国内加速站点):https://hf-mirror.com/shareAI/llama3.1-8b-instruct-dpo-zh ...
下载地址:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main 下载Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 模型文件 图片 0X02 编写模型文件 Modelfile文件内容如下: # FROM 指定 GGUF 文件的路径 FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 0X03...
zhichen微调版(ORPO方法,应该是第一个orpo):https://github.com/seanzhang-zhichen/llama3-chinese shenzhi-wang微调版(ORPO方法,也说是第一个orpo):https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat Rookie微调版(SFT):https://github.com/Rookie1019/Llama-3-8B-Instruct-Chinese hit-sz klc...
(): model_name_or_path = 'shareAI/llama3-Chinese-chat-8b' # 模型名称或路径,请修改这里 template_name = 'llama3' adapter_name_or_path = None template = template_dict[template_name] # 若开启4bit推理能够节省很多显存,但效果可能下降 load_in_4bit = False # 生成超参配置,可修改以取得更好...
“下载地址:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main 下载Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf模型文件 0X02 编写模型文件 “Modelfile文件内容如下: 代码语言:javascript 复制 #FROM指定GGUF文件的路径FROMD:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_...
下载地址:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main。 下载Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 模型文件。 图片 0X02 编写模型文件 Modelfile文件内容如下: 复制 # FROM 指定 GGUF 文件的路径 FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1....
🔥 We provide the official Ollama model for the q8_0 GGUF version of Llama3-70B-Chinese-Chat atwangshenzhi/llama3-70b-chinese-chat-ollama-q8! Run the following command for quick use of this model:ollama run wangshenzhi/llama3-70b-chinese-chat-ollama-q8:latest. ...
这些模型在原版Llama-3-8B的基础上使用了大规模中文数据进行增量预训练,并且利用高质量指令数据进行精调,进一步提升了中文基础语义和指令理解能力,相比一代和二代相关模型获得了显著性能提升。 相关模型已在🤗Hugging Face、🤖ModelScope、机器之心SOTA!社区、Gitee等平台同步上线。同步提供了GGUF量化版本模型(2bit~...