🥂广泛的硬件兼容性:通过预设的多级显存配置,确保软件在不同配置的电脑上均能良好运行。支持通过配置页面将策略切换至CPU / WebGPU,使得AMD、Intel等显卡用户也能流畅使用。 🧷模块化架构:支持前后端分离部署,用户可将RWKV Runner作为客户端使用,或单独部署前端服务、后端推理服务,以及带有WebUI的后端推理服务。 下...
广泛的硬件兼容性:通过预设的多级显存配置,确保软件在不同配置的电脑上均能良好运行。支持通过配置页面将策略切换至CPU / WebGPU,使得AMD、Intel等显卡用户也能流畅使用。 模块化架构:支持前后端分离部署,用户可将RWKV Runner作为客户端使用,或单独部署前端服务、后端推理服务,以及带有WebUI的后端推理服务。 下载与安装...
RWKV-Runner是一个大语言模型的启动平台 它会全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。作者充分考虑了使用者的想法,以傻瓜式的方式即可启动该平台。 Gitee 地址:https://gitee.com/josc146/RWKV-Runner GitHub地址:https://github.com/josStorer/RWKV-Runner RWKV-Runner官方功能介绍 RWKV模型管...
懒人包 https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111 简明服务部署示例 https://github.com/josStorer/RWKV-Runner/blob/master/README_ZH.md#Simple-Deploy-Example 服务器部署示例 https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples MIDI硬件输入 https://github.com/...
如果你使用的是 AMD 或 Intel 的显卡,请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。 选择一项预设的模型配置后,点击右下角的运行按钮,即可运行对应的模型。 如果你尚未拥有该预设配置所需的 RWKV 模型,请点击弹窗的“下载”按钮,系统将自动为你下载对应的模型文件。(如果模型下载失败或无响应,请看下一个...
通过配置页面切换Strategy到WebGPU,还可以在AMD,Intel等显卡上运行 自带用户友好的聊天,续写,作曲交互页面。支持聊天预设,附件上传,MIDI硬件输入及音轨编辑。 预览 | MIDI硬件输入 内置WebUI选项,一键启动Web服务,共享硬件资源 易于理解和操作的参数配置,及各类操作引导提示 内置模型转换工具 内置下载管理和远程模型检视 ...
启动模型后，打开 http://127.0.0.1:8000/docs 以查看更多详细信息。自动安装依赖，只需要一个轻量级的可执行程序。预设多级 VRAM 配置，几乎在所有计算机上都能正常工作。在 Configs 页面中，将 Strategy 切换到 WebGPU，它 也可以在 AMD、Intel 和其他显卡上运行。包括用户友好的聊天、完成和组合交互界面。还...
RWKV-Runner 我最开始使用的模型启动器,windows下使用没什么问题,mac我一直没跑起来。之后我计划把其中backend-python部分的代码分离出来注释解读一下,作成容器,方便有需要的人前后分离部署。 再放两篇启动器的教程 Ai00-X 使用rust语言开发的,基于web-rwkv,特点就是支持多种GPU。AMD我没试过,Nvidia/Intel都能...
预设多级 VRAM 配置,几乎在所有计算机上都能正常工作。在 Configs 页面中,将 Strategy 切换到WebGPU,它 也可以在 AMD、Intel 和其他显卡上运行。 包括用户友好的聊天、完成和组合交互界面。还支持聊天预设、附件 上传、MIDI 硬件输入和轨道编辑。 内置WebUI 选项,一键启动 Web 服务,共享您的硬件资源。
通过配置页面切换到WebGPU策略,还可以在AMD,Intel等显卡上运行 - 预设多级显存配置,几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU,还可以在AMD,Intel等显卡上运行 - 自带用户友好的聊天,续写,作曲交互页面。支持聊天预设,附件上传,MIDI硬件输入及音轨编辑。 [预览](#Preview) | [MIDI硬件输入](#MIDI-...