进入alpaca.cpp 后,到 huggingface.co/Sosaka/A 下载量化后的模型 ggml-alpaca-7b-q4.bin,然后使用 make chat 对项目进行编译。最后使用 ./chat 直接运行程序即可,就能看到我在 “总览” 这一节中展示的聊天窗口。那种丝滑般的体验,言语无法精确描述,只能实际体验才好体会。 小结 本文非常非常 e
ggml-alpaca-7b-q4.bin 量化后的Alpaca模型:https:///Sosaka/Alpaca-native-4bit-ggml/blob/main/ggml-alpaca-7b-q4.bin llama.cpp (alpaca.cpp 是 fork 本项目,代码基本一致):https:///ggerganov/llama.cpp 太感谢这些开源大佬们,尝试让 AI 进入寻常百姓家,功德无量。 Alpaca-cpp 安装及本地运行 安装...