类似于OpenAI的记事本模式交流界面。 用于对话和角色扮演的聊天模式 与Alpaca、Vicuna、Open Assistant、Dolly、Koala、ChatGLM、MOSS、RWKV-Raven、Galactica、StableLM、WizardLM、Baize、Ziya、Chinese-Vicuna、MPT、INCITE、Wizard Mega、KoAlpaca、Vigogne、Bactrian、h2o和OpenBuddy等各种格式兼容的指令模式 包括LLaVA和...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...
角色扮演(RP)对话技巧是指通过模拟不同角色之间的对话,让用户更好地理解和使用 Web UI。RP 对话技巧包括以下几点: 1.明确角色定位:RP 对话中,需要明确各个角色的职责和目标,以便为用户提供更加精准的服务。 2.保持对话连贯性:RP 对话应保证逻辑清晰、连贯,避免出现跳跃或矛盾的情况。 3.注重情感交流:RP 对话中...
Describe the bug Basic Information: Model: 9b-gemma-2-9b-it-Q6_K.gguf n-gpu-layers: 43 n_ctx: 8192 flash_attn: False tensorcores: False no-mmap: True mlock: True Through the vanilla webUI, the speed are 10.25 tokens/s (context 204), 7.65...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...
" }, // text-generation-webui相关配置 "text_generation_webui": { // 服务监听的IP和端口 "api_ip_port": "http://127.0.0.1:5000", "max_new_tokens": 250, // 有 'chat', 'chat-instruct', 'instruct' "mode": "chat", // 角色 "character": "Example", // 聊天指导模板 "...