网站:轻小说机翻机器人已接入Sakura模型(v0.9),站内有大量模型翻译的轻小说可供参考。 PPL Sakura-14B-Qwen2beta-v0.9-iq4_xs_ver2: 4.43 Sakura-32B-Qwen2beta-v0.9-iq4xs: 3.28 推理 openai api messages格式: v0.9 使用代码处理如下: input_text_list=['a','bb','ccc', ...]# 一系列上下文文...
"repo": "Sakura-14B-Qwen2beta-v0.9.2-GGUF", "filename": "sakura-14b-qwen2beta-v0.9.2-iq4xs.gguf", "sha256": "254a7e97e5e2a5daa371145e55bb2b0a0a789615dab2d4316189ba089a3ced67", "minimal_gpu_memory_gb": 12, "size": 7.91 "size": 7.91, "recommended_np": {"12": 1,...
** 1. **更新了使用Importance Matrix进行量化的Sakura-14B-Qwen2beta-v0.9-GGUF模型。[模型地址](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9-GGUF/blob/main/sakura-14b-qwen2beta-v0.9-iq4_xs_ver2.gguf)** 0 comments on commit 7cf208a Please sign in to comment. ...
如果启动器无法下载,您也可以手动从Hugging Face镜像站下载模型,将下载的gguf文件放到启动器所在文件夹下即可。 12G以下显存推荐使用GalTransl-7B-v2.6-IQ4_XS.gguf 12G及以上显存推荐使用sakura-14b-qwen2.5-v1.0-iq4xs.gguf 翻译Galgame推荐使用7B模型,12G以下显存可用。翻译小说推荐使用14B模型,需要12G及...
32B 模型与 14B 模型相比,速度显著降低,但是翻译能力的提升有限,除 4090 用户以外不推荐使用。 显存大小推荐模型大小推荐模型及链接 8G 7B GalTransl-7B-v1-IQ4_XS.gguf 11G/12G/16G/24G 14B Sakura-14B-Qwen2beta-v0.9.2-GGUF 2. 启用 SakuraLLM 多实例支持 从SakuraLLMScript目录 下载co...
"https://hf-mirror.com/SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF/resolve/main/sakura-14b-qwen2beta-v0.9.2-q4km.gguf", ), ] llamacpp_links = [ ( "b3855-CUDA", "Nvidia独显", "https://mirror.ghproxy.com/https://github.com/PiDanShouRouZhouXD/Sakura_Launcher_GUI/releases/download...
["NGROK_TOKEN = \"\"\n","REPO = \"SakuraLLM/Sakura-14B-Qwen2beta-v0.9-GGUF\"\n","MODEL = \"sakura-14b-qwen2beta-v0.9-iq4_xs_ver2.gguf\"\n","# REPO = \"SakuraLLM/Sakura-32B-Qwen2beta-v0.9-GGUF\"\n","# MODEL = \"sakura-32b-qwen2beta-v0.9-iq4xs.gguf\"\n",...
v0.9 v0.10 之后尝试运行 C:\ProgramData\Anaconda3\envs\sakura13\python.exe server.py --model_name_or_path G:\[Notes]\Sakura-13B-Galgame\models\Sakura-14B-Qwen2beta-v0.10pre0 --use_gptq_model --model_version 0.10 --trust_remote_code --no-auth或./server.exe --model_name_or_path ...
轻小说 网站:轻小说机翻机器人已接入Sakura模型(v0.9),站内有大量模型翻译的轻小说可供参考。 PPL Sakura-14B-Qwen2beta-v0.9-iq4_xs_ver2: 4.43 Sakura-32B-Qwen2beta-v0.9-iq4xs: 3.28推理openai api messages格式: v0.9 使用代码处理如下: input_text_list = ['a', 'bb', 'ccc', ...] # ...
网站:轻小说机翻机器人已接入Sakura模型(v0.9),站内有大量模型翻译的轻小说可供参考。 PPL Sakura-14B-Qwen2beta-v0.9-iq4_xs_ver2: 4.43 Sakura-32B-Qwen2beta-v0.9-iq4xs: 3.28 推理 openai api messages格式: v0.9 使用代码处理如下: input_text_list=['a','bb','ccc', ...]# 一系列上下文文...