创建目录并拷贝模型到项目目录:zh-models/7B/ 将Chinese-LLaMA-Alpaca-2模型转换为gguf模型 #根目录 python convert.py zh-models/7B/ 将生成的fp16格式的gguf模型进行4-bit量化 ./quantize ./zh-models/7B/ggml-model-f16.gguf ./zh-models/7B/ggml-model-q4_0.gguf q4_0 Step 4: 加载并启动模型 ...
这里的指令实际上用了两个相对路径,如果你希望把启动脚本放在非llama.cpp的其他目录下,那么将./server替换为xx/xx/xx/llama.cpp/server即可,后面的./zh-models/7B/ggml-model-q4_0.gguf部分同理。此时可以得到如下脚本(abc.sh)文件内容: /home/xxx/xxx/llama.cpp/server -m /home/xxx/xxx/llama.cpp/zh...
llama.cpp将完整模型权重转换为GGML的FP16格式,生成文件ggml-model-f16.gguf。进一步对FP16模型进行4-bit量化,生成量化模型文件ggml-model-q4_0.gguf。 python convert.py scripts/training/preweights/chinese-llama-2-1.3b-hf/ ./quantize ./scripts/training/preweights/ggml-model-f16.gguf ./scripts/tra...
模型名称类型大小下载地址GGUF Chinese-LLaMA-2-7B-64K 🆕 基座模型 12.9 GB [Baidu] [Google] [🤗HF] [🤖ModelScope] [🤗HF] Chinese-Alpaca-2-7B-64K 🆕 指令模型 12.9 GB [Baidu] [Google] [🤗HF] [🤖ModelScope] [🤗HF] Chinese-LLaMA-2-13B-16K 基座模型 24.7 GB [Baidu] [Goog...
模型名称类型大小下载地址GGUF Chinese-LLaMA-2-7B-64K 🆕基座模型12.9 GB[百度][Google][🤗HF][🤗HF] Chinese-Alpaca-2-7B-64K 🆕指令模型12.9 GB[百度][Google][🤗HF][🤗HF] Chinese-LLaMA-2-13B-16K基座模型24.7 GB[百度][Google][🤗HF][🤗HF] ...
模型名称类型大小下载地址GGUF Chinese-LLaMA-2-7B-64K 🆕 基座模型 12.9 GB [百度] [Google] [🤗HF] [🤗HF] Chinese-Alpaca-2-7B-64K 🆕 指令模型 12.9 GB [百度] [Google] [🤗HF] [🤗HF] Chinese-LLaMA-2-13B-16K 基座模型 24.7 GB [百度] [Google] [🤗HF] [🤗HF] Chinese-LLaM...
模型名称类型大小下载地址GGUF Chinese-LLaMA-2-13B-16K基座模型24.7 GB[百度][Google][🤗HF][🤗HF] Chinese-LLaMA-2-7B-16K基座模型12.9 GB[百度][Google][🤗HF][🤗HF] Chinese-Alpaca-2-13B-16K 🆕指令模型24.7 GB[百度][Google][🤗HF][🤗HF] ...
llama.cpp:删除了中的-eps选项以适配GGUF新版模型(#162) llama.cpp:更新了新版k-quant模型PPL结果(#172) 更新训练策略(#150) 更新openai_api_server_vllm.py(#176) 修复一处typo(#177) contributed by @touale 添加了CMMLU推理脚本,使用方法请参考CMMLU推理脚本 For English release note, please refer ...
将Chinese-LLaMA-Alpaca-2模型转换为gguf模型 #根目录 python convert.py zh-models/7B/ 将生成的fp16格式的gguf模型进行4-bit量化 ./quantize ./zh-models/7B/ggml-model-f16.gguf ./zh-models/7B/ggml-model-q4_0.gguf q4_0 Step 4: 加载并启动模型 ...
模型名称类型大小下载地址GGUF Chinese-LLaMA-2-7B-64K 🆕基座模型12.9 GB[百度][Google][🤗HF][🤗HF] Chinese-Alpaca-2-7B-64K 🆕指令模型12.9 GB[百度][Google][🤗HF][🤗HF] Chinese-LLaMA-2-13B-16K基座模型24.7 GB[百度][Google][🤗HF][🤗HF] ...