第一步:通过以下命令行安装 WasmEdge[5] 第二步:下载internlm2_5-7b-chatGGUF 文件[6]。由于模型大小为5.51G,下载可能需要一段时间。 第三步:下载一个 API server 应用。它也是一个可以在多种 CPU 和 GPU 设备上运行的跨平台可移植 Wasm 应用。 第四步:使用以下命令行启动模型的 API 服务器。 打开一...
第一步:通过以下命令行安装 WasmEdge[5] 第二步:下载internlm2_5-7b-chatGGUF 文件[6]。由于模型大小为5.51G,下载可能需要一段时间。 第三步:下载一个 API server 应用。它也是一个可以在多种 CPU 和 GPU 设备上运行的跨平台可移植 Wasm 应用。 第四步:使用以下命令行启动模型的 API 服务器。 打开一...