miqudev/miqu-1-70b GGUF Q5_K_M，32K 上下文， Mistral 格式：只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息，只回答问题，给出正确答案：4+3+1+5=13/18。没有按照说明用 "OK" 确认数据输入。在测试过程中，开发者发现 Miqu 与 Mixtral 有许多相似之处：出色的德语拼写和语法双语...
miqu-1-70b 就是这样一个例子,因为他依然使用 mistral 作为 prompt template。如果你已经下载了 WasmEdge 和推理程序 llama-chat.wasm 或是 llama-api-server.wasm,那么只需要下载 miqu-1-70b 模型,然后运行下面的命令行即可。 wasmedge --dir .:. --nn-preload default:GGML:AUTO:miqu-1-70b.q2_K.gguf ...