/update-configAPI 用于用于更新模型默认配置,或者说缺省参数,包括解码参数、是否挂载 state 文件等。 当调用续写 API (/chat/completions或者/completions) 且没有传递参数时,将使用/update-config设置的默认参数。 可选字段 参考的请求主体: {"frequency_penalty":1,"global_penalty":false,"max_tokens":1000,"pe...
更新配置API用于更新模型的默认配置,包括解码参数、是否挂载state文件等。当调用续写API且没有传递参数时,将使用更新配置API设置的默认参数。 5. 状态查询API 状态查询API用于获取RWKV Runner及运行设备的状态,如运行状态、进程ID、GPU型号等。 6. MIDI API MIDI API用于处理MIDI乐谱文件,如文本转MIDI、MIDI转WAV音频...
等待完成一个典型的调用API的示例是,打开浏览器控制台,粘贴执行以下代码,你应该能看到输出回答fetch("http://127.0.0.1:8000/chat/completions", {method: "POST",headers: { "Content-Type": "application/json" },body: JSON.stringify({ messages: [{ role: "user", content: "你好" }] }),}).then...
本项目旨在消除大语言模型的使用门槛,全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。此外本项目提供了与OpenAI API兼容的接口,这意味着一切ChatGPT客户端都是RWKV客户端。 开源地址:github.com/josStorer/RW 演示视频:bilibili.com/video/BV1h 功能 RWKV模型管理,一键启动 与OpenAI API完全兼容,一切Chat...
与OpenAI API兼容,一切ChatGPT客户端,都是RWKV客户端。启动模型后,打开 http://127.0.0.1:8000/docs 查看API文档 全自动依赖安装,你只需要一个轻巧的可执行程序 预设多级显存配置,几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU,还可以在AMD,Intel等显卡上运行 ...
值得一提的是,RWKV-Runner还提供了与OpenAI API完全兼容的接口。这意味着用户可以将任意ChatGPT客户端用作RWKV的客户端,实现能力拓展。这一功能使得RWKV-Runner不仅仅是一个简单的本地部署工具,更是一个强大而灵活的开发平台。那么,为什么选择RWKV-Runner呢?首先,它极大地降低了大语言模型的使用门槛。无需复杂的...
简介:RWKV-Runner是一款旨在消除大语言模型使用门槛的工具,它全自动处理AI对话,并提供OpenAI API兼容的接口。使用方便,但需要一定的计算机基础和理论知识来增强其功能。本文将详细介绍RWKV-Runner的工作原理、优势和潜在限制,帮助读者更好地理解和应用这一强大的工具。
SimFantasy创建的收藏夹SD内容:RWKV-Runner发布并开源,可商用的大语言模型,一键启动管理,2-32G显存适配,API兼容,一切前端皆可用,如果您对当前收藏夹内容感兴趣点击“收藏”可转入个人收藏夹方便浏览
在之前的教程中,我们已经介绍了RWKV Runner的基础用法,本文将深入探讨其进阶教程,包括自定义模型配置、服务器部署、API使用、LoRA微调以及如何通过实体MIDI键盘进行作曲等内容。 一、自定义模型配置 RWKV Runner提供了预设的模型配置,用户可以根据自己的显卡类型选择相应的配置。然而,为了更灵活地满足用户需求,RWKV ...
与OpenAI API完全兼容,一切ChatGPT客户端,都是RWKV客户端。启动模型后,打开http://127.0.0.1:8000/docs查看详细内容 全自动依赖安装,你只需要一个轻巧的可执行程序 预设了2G至32G显存的配置,几乎在各种电脑上工作良好 自带用户友好的聊天和补全交互页面