方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
我们最新提供了GGUF版本的Llama3-8B-Chinese-Chat模型,共有FP16和8bit量化两个版本可选,模型下载链接如下: FP16版本: https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-fp16huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-fp16 8bit量化版本: https://huggingface.co/shenz...
- GGUF版本下载 (ollama、lmstudio可用):https://huggingface.co/shareAI/llama3.1-8b-instruct-dpo-zh/blob/main/llama3.1_8b_chinese_chat_q4_k_m-shareAI.gguf - openbuddy - openbuddy-llama3.1-8b(SFT中文):https://modelscope.cn/models/OpenBuddy/openbuddy-llama3.1-8b-v22.1-131k 0 comments...
近期todo:录制b站视频、封装云端训练镜像、放出量化后gguf、ollama版本及教程 近期(预计一个半月后)还会开源一个浏览器插件,AI笔记功能+AI思维导图功能,在跟同学一起用闲时开发(他们俩是主力哈哈),欢迎关注～。 可用Chat版模型整理 注意由于只训练了常见对话,base + sft版有可能会出现不符合预期的回复 (尤其是对...
2024-04-20 早上7点:v2版训练完成 2023-04-20 晚上23点:instruct 中文版训练完成 2024-04-21 晚上2点:增加训练教程、推理教程、网页部署等文档整理 近期todo:录制b站视频、封装云端训练镜像、放出量化后gguf、ollama版本及教程近期(预计一个半月后)还会开源一个浏览器插件,AI笔记功能+AI思维导图功能,在跟同学...
近期todo:录制b站视频、封装云端训练镜像、放出量化后gguf、ollama版本及教程 近期(预计一个半月后)还会开源一个浏览器插件,AI笔记功能+AI思维导图功能,在跟同学一起用闲时开发(他们俩是主力哈哈),欢迎关注～。 可用Chat版模型整理 注意由于只训练了常见对话,base + sft版有可能会出现不符合预期的回复 (尤其是对...
🔥 We provide the official Ollama model for the q8_0 GGUF version of Llama3-70B-Chinese-Chat atwangshenzhi/llama3-70b-chinese-chat-ollama-q8! Run the following command for quick use of this model:ollama run wangshenzhi/llama3-70b-chinese-chat-ollama-q8:latest. ...
Run the following command for quick use of this model: ollama run wangshenzhi/llama3-70b-chinese-chat-ollama-q4:latest. 🔥 We provide the official Ollama model for the q8_0 GGUF version of Llama3-70B-Chinese-Chat at wangshenzhi/llama3-70b-chinese-chat-ollama-q8! Run the following...
首先先下载我们的8bit-GGUF模型或者f16-GGUF模型到你的本地机器,然后执行下面的python脚本: from llama_cpp import Llama model = Llama( "/Your/Path/To/Llama3-8B-Chinese-Chat/GGUF/Model", verbose=False, n_gpu_layers=-1, ) system_prompt = "You are a helpful assistant." ...