下载地址:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main。 下载Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 模型文件。 0X02 编写模型文件 Modelfile文件内容如下: # FROM 指定 GGUF 文件的路径 FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 0X03 ...
GGUF 4bit量化版本的Ollama模型:https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q4,快速使用:ollamarun wangshenzhi/llama3-8b-chinese-chat-ollama-q4 GGUF 8bit量化版本的Ollama模型:https://ollama.com/wangshenzhi/llama3-8b-chinese-chat-ollama-q8,快速使用:ollamarun wangshenzhi...
接下来，需要创建一个名为“Modelfile”的文件，用于配置从GGUF文件路径到Ollama服务的映射，内容如下：从路径引用GGUF文件：FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 使用ollama create命令创建名为“tinywan-Llama3-8B-Chinese”的新模型，并确保已使用正确的模odel文件路径进...
下载地址:https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main。 下载Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 模型文件。 图片 0X02 编写模型文件 Modelfile文件内容如下: 复制 # FROM 指定 GGUF 文件的路径 FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.g...
FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 0X03 创建 Ollama 模型 使用ollama create命令可以根据Modelfile创建一个新的模型 ollama create tinywan-Llama3-8B-Chinese -f ./Modelfile transferring model data using existing layer sha256:ea6e8d5cda0fc798898b67f6e728eb2d02877a2599...
FROM /path/to/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 将/path/to/替换为你的模型文件实际存放路径。 2. 创建Ollama模型 使用ollama create命令根据Modelfile创建一个新的模型。例如: ollama create my-llama3-chinese -f ./Modelfile 这条命令会读取Modelfile中的配置,并创建一个名为my-llama3-chinese...
方式一:通过 GGUF 量化模型安装(推荐) GGUF 安装比较简单,下载单个文件即可: 下载到本地之后,按照我的第一篇博文,即可进行控制台聊天了: 启动大模型Shell 脚本: source ./venv/bin/activate python -m llama_cpp.server --host 0.0.0.0 --model \ ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf \ --n...
🔥 We provide the official q8_0 GGUF version of Llama3-8B-Chinese-Chat-v2.1 at https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit! 🔥 We provide the official f16 GGUF version of Llama3-8B-Chinese-Chat-v2.1 at https://huggingface.co/shenzhi-wang/Llama3-8B-Chi...
基于GGUF 量化模型生成 Ollama模型文件,假设文件名为Modelfile-Chinese,内容如下: FROM ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf 执行Ollama 模型转换,Llama-3-8B-Chinese为Ollama 模型名: $ ollama create Llama-3-8B-Chinese -f ./Modelfile-Chinese transferring model data using existing layer sha...
模型名称完整版LoRA版GGUF版 Llama-3-Chinese-8B-Instruct-v3 (指令模型)[🤗Hugging Face] [🤖ModelScope] [🟣wisemodel]N/A[🤗Hugging Face] [🤖ModelScope] Llama-3-Chinese-8B-Instruct-v2 (指令模型)[🤗Hugging Face] [🤖ModelScope] ...