https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bithuggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit 1. 简介 如题目所示,我们开源了Llama3-8B-Chinese-Chat模型(基于Llama3-8B-Instruct[1]微调,模型下载请详见下面的huggingface链接),这是第一个使用ORPO[2]微调的中...
方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
- GGUF版本下载 (ollama、lmstudio可用):https://huggingface.co/shareAI/llama3.1-8b-instruct-dpo-zh/blob/main/llama3.1_8b_chinese_chat_q4_k_m-shareAI.gguf - openbuddy - openbuddy-llama3.1-8b(SFT中文):https://modelscope.cn/models/OpenBuddy/openbuddy-llama3.1-8b-v22.1-131k 0 comments...
近期todo:录制b站视频、封装云端训练镜像、放出量化后gguf、ollama版本及教程 近期(预计一个半月后)还会开源一个浏览器插件,AI笔记功能+AI思维导图功能,在跟同学一起用闲时开发(他们俩是主力哈哈),欢迎关注～。可用Chat版模型整理注意由于只训练了常见对话,base + sft版有可能会出现不符合预期的回复 (尤其是对于...
近期todo:录制b站视频、封装云端训练镜像、放出量化后gguf、ollama版本及教程 近期(预计一个半月后)还会开源一个浏览器插件,AI笔记功能+AI思维导图功能,在跟同学一起用闲时开发(他们俩是主力哈哈),欢迎关注～。 可用Chat版模型整理 注意由于只训练了常见对话,base + sft版有可能会出现不符合预期的回复 (尤其是对...
近期todo:录制b站视频、封装云端训练镜像、放出量化后gguf、ollama版本及教程 近期(预计一个半月后)还会开源一个浏览器插件,AI笔记功能+AI思维导图功能,在跟同学一起用闲时开发(他们俩是主力哈哈),欢迎关注～。 可用Chat版模型整理 llama3相关对话版本优质权重整理:(欢迎issue补充) ...
Run the following command for quick use of this model: ollama run wangshenzhi/llama3-70b-chinese-chat-ollama-q4:latest. 🔥 We provide the official Ollama model for the q8_0 GGUF version of Llama3-70B-Chinese-Chat at wangshenzhi/llama3-70b-chinese-chat-ollama-q8! Run the following...
2Star0Fork0 Shenzhi Wang/Llama3-8B-Chinese-Chat-GGUF-8bit 代码Issues0Pull Requests0Wiki统计流水线 服务 Gitee Pages JavaDoc PHPDoc 质量分析 Jenkins for Gitee 腾讯云托管 腾讯云 Serverless 悬镜安全 阿里云 SAE Codeblitz 我知道了,不再自动展开 ...
Shenzhi Wang/Llama3-8B-Chinese-Chat-GGUF-4bit 代码Issues0Pull Requests0Wiki统计流水线 服务 Gitee Pages JavaDoc PHPDoc 质量分析 Jenkins for Gitee 腾讯云托管 腾讯云 Serverless 悬镜安全 阿里云 SAE Codeblitz 我知道了,不再自动展开 统计 搜索