/update-configAPI 用于用于更新模型默认配置,或者说缺省参数,包括解码参数、是否挂载 state 文件等。 当调用续写 API (/chat/completions或者/completions) 且没有传递参数时,将使用/update-config设置的默认参数。 可选字段 参考的请求主体: {"frequency_penalty":1,"global_penalty":false,"max_tokens":1000,"pe...
等待完成一个典型的调用API的示例是,打开浏览器控制台,粘贴执行以下代码,你应该能看到输出回答fetch("http://127.0.0.1:8000/chat/completions", {method: "POST",headers: { "Content-Type": "application/json" },body: JSON.stringify({ messages: [{ role: "user", content: "你好" }] }),}).then...
根据需要启动后端推理服务或前端服务。启动后端推理服务时,可以调用/switch-model载入模型,并参考API文档进行操作。启动前端服务时,需要编译前端代码并启动前端服务进程。 如需同时启动前后端服务,可以使用相应的命令。 在部署过程中,用户需要注意限制请求大小和max_tokens上限,以避免占用过多服务器资源。 三、API使用 RW...
RWKV-Runner的核心在于其自动化的处理能力。它通过分析输入的文本,自动调用大语言模型进行处理,并返回相应的结果。用户无需具备深度学习或机器学习的专业知识,即可轻松实现AI对话。此外,RWKV-Runner还提供了OpenAI API兼容的接口,这意味着用户可以方便地使用其他流行的AI工具和服务。二、优势 简单易用:RWKV-Runner的使...
模型内部状态缓存支持,使对话和补全的准备速度获得 5 - 50 倍的提速,现在对话和补全几乎总是立即响应,状态缓存对API调用同样有效 对小说模型和World模型支持(强烈推荐体验World模型,100+语言,效果极佳) API对外访问支持 API并发性能和兼容性改善 API日志
也可用作 OpenAI ChatGPT, GPT Playground, Ollama 等服务的客户端 (在设置内填写API URL和API Key) 多语言本地化 主题切换 自动更新 Simple Deploy Example git clone https://github.com/josStorer/RWKV-Runner # 然后 cd RWKV-Runner python ./backend-python/main.py #后端推理服务已启动, 调用/switch...
想请问一下在Liunx上跑的后端是否也支持通过API调用加载state,就像载入模型那样?Owner josStorer commented Nov 1, 2024 /update-config可以传state动态修改state https://github.com/josStorer/RWKV-Runner/blob/master/backend-python/routes/config.py#L113 👍 1 ️ 1 Sign...
RWKV-Runner是一款由josStorer等开发者打造的开源工具,其核心目标是简化大语言模型在本地环境的部署与应用流程,使用户无需深入理解复杂的模型接口和技术细...
API调用问题 #369 openedAug 4, 2024byZero-net-oss 请求添加新PIP源 #367 openedJul 30, 2024bypplokijuhyg bin模型无法加载 #366 openedJul 29, 2024byyuelangjun 2 bad CPU type in executable: ./backend-rust/web-rwkv-converter,macos 14.5 ,AMD Radeon Pro 5700 XT 16 GB,无法使用webgpu转化,请问...
也可用作 OpenAI ChatGPT, GPT Playground, Ollama 等服务的客户端 (在设置内填写API URL和API Key) 多语言本地化 主题切换 自动更新 Simple Deploy Example gitclonehttps://github.com/josStorer/RWKV-Runner# 然后cdRWKV-Runner python ./backend-python/main.py#后端推理服务已启动, 调用/switch-model载入...