sakura-14b-qwen2.5-v1.0-q6k.gguf24G14B 模型详情 描述 Galgame 一个例子 轻小说 网站:轻小说机翻机器人已接入Sakura模型(v0.9),站内有大量模型翻译的轻小说可供参考。 PPL Sakura-14B-Qwen2beta-v0.9-iq4_xs_ver2: 4.43 Sakura-32B-Qwen2beta-v0.9-iq4xs: 3.28 ...
[], 'stream': False, 'temperature': 0.10000000149011612, 'tfs_z': 1.0, 'top_k': 40, 'top_p': 0.30000001192092896, 'typical_p': 1.0, 'use_penalty_prompt_tokens': False}, 'id_slot': 0, 'model': 'sakura-14b-qwen2beta-v0.9-Q6_K', 'prompt': '<|im_start|>system\n你是一个...
更新了使用Importance Matrix进行量化的Sakura-14B-Qwen2beta-v0.9-GGUF模型。模型地址 更新了基于Qwen1.5底模的v0.9版本模型,包括14B和1.8B两个版本。注意:此版本模型的结构为Qwen2. 同时补充更新了基于Qwen 7B的v0.9版本模型。 更新了0.9的正式版模型v0.9b。清洗并增加了预训练与微调的数据量。更推荐使用正式...
"repo": "Sakura-14B-Qwen2beta-v0.9.2-GGUF", "filename": "sakura-14b-qwen2beta-v0.9.2-q4km.gguf", "sha256": "8bae1ae35b7327fa7c3a8f3ae495b81a071847d560837de2025e1554364001a5", "minimal_gpu_memory_gb": 12, "size": 9.19 "size": 9.19, "recommended_np": {"12": 1, ...
考虑到目前官方还没有发布14B规格的模型,如果要用Qwen2进行微调,目前Qwen2-7B应该是Qwen2系列里最合适的选择。 Collaborator sakura-umi commented Jun 13, 2024 没有理由不跟进最新的 只是需要时间 👍 1 kurikomoe added suggestion model labels Aug 9, 2024 Collaborator sakura-umi commented Oct 8, ...
11G/12G/16G/24G14BSakura-14B-Qwen2beta-v0.9.2-GGUF 从SakuraLLMScript目录下载common.bat以及与您的显存大小对应的启动脚本,并将其放入 SakuraLLM 文件夹。 显存大小启动脚本名称 8G00_RUN_8G_7B 11G00_RUN_11G_14B 12G00_RUN_12G_14B 16G00_RUN_16G_14B ...
1.**更新了使用Importance Matrix进行量化的Sakura-14B-Qwen2beta-v0.9-GGUF模型。[模型地址](https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9-GGUF/blob/main/sakura-14b-qwen2beta-v0.9-iq4_xs_ver2.gguf)** 0commit comments
118 150 "https://hf-mirror.com/SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF/resolve/main/sakura-14b-qwen2beta-v0.9.2-q4km.gguf", 119 151 ), 120 152 ] 121 - llamacpp_links = [ 122 - ( 123 - "b3855-CUDA", 124 - "Nvidia独显", 125 - "https://mirror.ghproxy.com...
Sakura-14B-Qwen2beta-v0.9-iq4_xs_ver2: 4.43 Sakura-32B-Qwen2beta-v0.9-iq4xs: 3.28 推理 openai api messages格式: v0.9 使用代码处理如下: input_text_list=['a','bb','ccc', ...]# 一系列上下文文本,每个元素代表一行的文本raw_text="\n".join(input_text_list)messages=[ {"role":"syst...
更新了基于Qwen1.5底模的v0.9版本模型,包括14B和1.8B两个版本。注意:此版本模型的结构为Qwen2. 同时补充更新了基于Qwen 7B的v0.9版本模型。 更新了0.10的测试版模型v0.10pre0,增加了术语表功能,新的prompt格式详见推理部分的prompt格式部分。注意:此版本模型的结构为qwen2。