RWKV-Runner中的微调功能基于项目RWKV-LM-LoRA,这是它的github链接: https://github.com/Blealtan/RWKV-LM-LoRA RWKV-Runner训练功能所做的事情只是为此项目封装了一套简单的GUI,并提供了自动的WSL训练环境配置,如果你不想要使用GUI训练,仍然可以使用finetune目录下的脚本进行训练 在windows上使用GUI进行LoRA微调时...
8G显存开启CUDA算子可以跑完整的7B int8模型,从上面的地址下载后,使用如下配置即可,注意不要开启输出层高精度: 8.从其他途径获取到了int8量化模型,而不是用runner转换的,启动失败 一般其他途径获取到的都是满层数量化,你要在runner使用,需要把载入显存层数拉满,关闭输出层使用高精度,精度选择int8,然后打开CUDA算子...
RWKV-Runner是一个大语言模型的启动平台 它会全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。作者充分考虑了使用者的想法,以傻瓜式的方式即可启动该平台。 Gitee 地址:https://gitee.com/josc146/RWKV-Runner GitHub地址:https://github.com/josStorer/RWKV-Runner RWKV-Runner官方功能介绍 RWKV模型管...
RWKV-Runner以高度自动化处理和用户友好的设计,降低了接触和运用大语言模型的门槛,从而助力用户更加自如地完成各类自然语言处理任务。RWKV-Runner的强大功能展现出广泛的应用潜力: 教育科研 RWKV-Runner的文本理解和生成能力,为教育和科研领域提供了有力支持。在学术文献检索上,你可以快速定位关键信息。对于知识点解析环...
RWKV-Runner的出现消除了人工智能大语言模型的使用门槛，你只需要一个仅仅几MB的可执行程序，一键启动，就能拥有一个比肩ChatGPT的大语言模型。有聊天问答、写作补全等强大功能。关键它免费开源，可以一键本地部署，低显存电脑也可运行，使用方便。本人亲测可用，有需要的小伙伴们可以用起来了。功能：RWKV模型管理，...
RWKV Runner 的续写 API 分为聊天续写和基础续写两种,其中聊天续写 API 拥有“role - 角色”参数,因此支持角色扮演等进阶任务。 /chat/completions v1/chat/completions和/chat/completions是相同的 API,用于 RWKV 的聊天续写模式,也就是和模型对话。
RWKV Runner 提供了一个轻量级的环境,使用户能够在本地轻松运行 RWKV 大模型,并体验多样化的人工智能功能。凭借其仅约10MB的体积(不包括依赖项),RWKV Runner 成为了体验聊天机器人、辅助写作、音乐创作等AI应用的理想工具。 软件特性一览 即插即用的AI体验:无需繁琐设置,即可享受聊天、写作、作曲等AI互动体验。支...
开源地址:https://github.com/josStorer/RWKV-Runner打不开github的可以从阿里云下载:https://www.aliyundrive.com/s/jurikB2ZWhG 来自Android客户端2楼2023-06-06 13:27 回复 伊利亚重轰 人气楷模 12 用法,新建一个文件夹,把启动器放进去(因为启动器会直接在它当前的路径放文件,所以把它单独放进一个文...
仓库地址:https://github.com/josStorer/RWKV-Runner 预设配置已经开启自定义CUDA算子加速,速度更快,且显存消耗更少。如果你遇到可能的兼容性问题,前往配置页面,关闭使用自定义CUDA算子加速 如果Windows Defender说这是一个病毒,你可以尝试下载v1.3.7_win.zip,然后让其自动更新到最新版,或添加信任 ...
仓库地址:https://github.com/josStorer/RWKV-Runner 预设配置已经开启自定义CUDA算子加速,速度更快,且显存消耗更少。如果你遇到可能的兼容性问题,前往配置页面,关闭使用自定义CUDA算子加速 如果Windows Defender说这是一个病毒,你可以尝试下载v1.3.7_win.zip,然后让其自动更新到最新版,或添加信任 ...