懒人包 https://pan.baidu.com/s/1zdzZ_a0uM3gDqi6pXIZVAA?pwd=1111 简明服务部署示例 https://github.com/josStorer/RWKV-Runner/blob/master/README_ZH.md#Simple-Deploy-Example 服务器部署示例 https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples MIDI硬件输入 https://github.com/...
🥂广泛的硬件兼容性:通过预设的多级显存配置,确保软件在不同配置的电脑上均能良好运行。支持通过配置页面将策略切换至CPU / WebGPU,使得AMD、Intel等显卡用户也能流畅使用。 🧷模块化架构:支持前后端分离部署,用户可将RWKV Runner作为客户端使用,或单独部署前端服务、后端推理服务,以及带有WebUI的后端推理服务。 下...
广泛的硬件兼容性:通过预设的多级显存配置,确保软件在不同配置的电脑上均能良好运行。支持通过配置页面将策略切换至CPU / WebGPU,使得AMD、Intel等显卡用户也能流畅使用。 模块化架构:支持前后端分离部署,用户可将RWKV Runner作为客户端使用,或单独部署前端服务、后端推理服务,以及带有WebUI的后端推理服务。 下载与安装...
目前 RWKV 已经提供了在 Windows 和 Mac、Linux 电脑上可以安装的版本 RWKV Runner。除了已经放出的安卓版本，IOS 版本在开发中。罗璇告诉极客公园：元智能 OS 正在进行第一轮融资。团队未来半年的核心还是模型，提升模型能力是一方面，另外也正在和一些芯片公司和算力平台洽谈，打造标杆客户。其中，标杆客户包括有终端...
在无脑下载好RWKV Runner后,我们来简单体验一下,为了兼顾大部分人的运行环境,我此处使用了如下的硬件环境: CPU: intel 12700k 内存:32G 显卡:12G RTX 3060 模型使用GPU-4G-7B-CN,配置全部选择默认的。 如果你希望使用GPU加速的话注意了,RWKV Runner可能会下载cpu版本的torch,记得手动删除并安装cuda版本的 ...
开源地址:https://github.com/josStorer/RWKV-Runner打不开github的可以从阿里云下载:https://www.aliyundrive.com/s/jurikB2ZWhG 来自Android客户端2楼2023-06-06 13:27 回复 伊利亚重轰 人气楷模 12 用法,新建一个文件夹,把启动器放进去(因为启动器会直接在它当前的路径放文件,所以把它单独放进一个文...
桌面工具:https://github.com/josStorer/RWKV-Runner API https://github.com/t4wefan/ChatRWKV-flask-api Android上 安卓编译 rwkv.cpp 方法 安装termux https://f-droid.org/en/packages/com.termux/ termux-change-repo 选个快镜像 termux-setup-storage 给存储权限 ...
rwkv7 support (CPU and CUDA Mode only) Note: If you encounter WebView2 crash issues, please try opening the Windows Settings, click on Apps, search for WebView2, click Modify -> Repair to update your WebView2 runtime. Install Windows:https://github.com/josStorer/RWKV-Runner/blob/master...
使用WebGpu 模式 需要转化Safetensors 模式 ,转化提示:bad CPU type in executable: ./backend-rust/web-rwkv-converter 我切换为 WebGpu(python)时 进行转化成功,但是启动时报错信息为: {"detail":"failed to load: failed to request device"} 您好,同样的问题:bad CPU type in executable: ./backend-rust...
add CPU-120M-Music config improve sse fetch update manifest (a lot of new models) update presets remove LoraFinetunePrecision fp32 chore Install Windows: https://github.com/josStorer/RWKV-Runner/blob/master/build/windows/Readme_Install.txt MacOS: https://github.com/josStorer/RWKV-Runner/...