Sakura-14B-Qwen2beta-v0.9-iq4_xs_ver2: 4.43 Sakura-32B-Qwen2beta-v0.9-iq4xs: 3.28 推理 openai api messages格式: v0.9 使用代码处理如下: input_text_list=['a','bb','ccc', ...]# 一系列上下文文本,每个元素代表一行的文本raw_text="\n".join(input_text_list)messages=[ {"role":"syst...
"repo": "Sakura-14B-Qwen2beta-v0.9.2-GGUF", "filename": "sakura-14b-qwen2beta-v0.9.2-q4km.gguf", "sha256": "8bae1ae35b7327fa7c3a8f3ae495b81a071847d560837de2025e1554364001a5", "minimal_gpu_memory_gb": 12, "size": 9.19 "size": 9.19, "recommended_np": {"12": 1,...
sakura-32b-qwen2beta-v0.10pre1-q4km.gguf 人称代词和一些多义的语句会出问题，比如在刚开始到牢狱...
考虑到目前官方还没有发布14B规格的模型,如果要用Qwen2进行微调,目前Qwen2-7B应该是Qwen2系列里最合适的选择。 Collaborator sakura-umi commented Jun 13, 2024 没有理由不跟进最新的 只是需要时间 👍 1 kurikomoe added suggestion model labels Aug 9, 2024 Collaborator sakura-umi commented Oct 8, 2024...
** 1. **更新了使用Importance Matrix进行量化的Sakura-14B-Qwen2beta-v0.9-GGUF模型。[模型地址](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9-GGUF/blob/main/sakura-14b-qwen2beta-v0.9-iq4_xs_ver2.gguf)** 0 comments on commit 7cf208a Please sign in to comment. ...
["NGROK_TOKEN = \"\"\n","REPO = \"SakuraLLM/Sakura-14B-Qwen2beta-v0.9-GGUF\"\n","MODEL = \"sakura-14b-qwen2beta-v0.9-iq4_xs_ver2.gguf\"\n","# REPO = \"SakuraLLM/Sakura-32B-Qwen2beta-v0.9-GGUF\"\n","# MODEL = \"sakura-32b-qwen2beta-v0.9-iq4xs.gguf\"\n",...
11G/12G/16G/24G 14B Sakura-14B-Qwen2beta-v0.9.2-GGUF 2. 启用 SakuraLLM 多实例支持 从SakuraLLMScript目录 下载common.bat 以及与您的显存大小对应的启动脚本,并将其放入 SakuraLLM 文件夹。 显存大小启动脚本名称 8G 00_RUN_8G_7B 11G 00_RUN_11G_14B 12G 00_RUN_12G_14B 16G 00...
如果启动器无法下载,您也可以手动从Hugging Face镜像站下载模型,将下载的gguf文件放到启动器所在文件夹下即可。 12G以下显存推荐使用GalTransl-7B-v2.6-IQ4_XS.gguf 12G及以上显存推荐使用sakura-14b-qwen2.5-v1.0-iq4xs.gguf 翻译Galgame推荐使用7B模型,12G以下显存可用。翻译小说推荐使用14B模型,需要12G及...
[], 'stream': False, 'temperature': 0.10000000149011612, 'tfs_z': 1.0, 'top_k': 40, 'top_p': 0.30000001192092896, 'typical_p': 1.0, 'use_penalty_prompt_tokens': False}, 'id_slot': 0, 'model': 'sakura-14b-qwen2beta-v0.9-Q6_K', 'prompt': '<|im_start|>system\n你是一个...
"https://hf-mirror.com/SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF/resolve/main/sakura-14b-qwen2beta-v0.9.2-q4km.gguf", ), ] llamacpp_links = [ ( "b3855-CUDA", "Nvidia独显", "https://mirror.ghproxy.com/https://github.com/PiDanShouRouZhouXD/Sakura_Launcher_GUI/releases/download...