本测试采用的是当前 Sakura 13B 的最新测试版本:基于 Qwen1.5 微调,具体为: sakura0.9_13B_Qwen1.5_iq4xs_1.3.gguf · shing3232/Sakura13B-LNovel-v0.9-qwen1.5-GGUF-IMX at main (huggingface.co) 本次测试不是一个经过系统设计的研究,作者也仅具有非常有限的日语支持。模型提示词设计较为简易,更多的是希...
llama.cpp GGUF模型(使用Qwen-14B v0.9模型进行测试) 模型量化类型模型大小推荐显存大小 fp1626.3G超出游戏显卡显存范围 Q8_014G24G Q6_K11.4G20G Q5_K_M10.1G16G Q4_K_M8.8G16G Q3_K_M7.2G16G Q2_K6.1G12G 模型详情 描述 Finetuned bySakuraUmi ...
llama.cpp GGUF模型(使用v0.9.0pre1模型进行测试,v0.8模型与其类似) 模型量化类型模型大小推荐显存大小 fp1626.3G超出游戏显卡显存范围 Q8_014G24G Q6_K11.4G20G Q5_K_M10.1G16G Q4_K_M8.8G16G Q3_K_M7.2G16G Q2_K6.1G12G transformers autogptq模型(使用v0.8版本进行测试) ...
sakura0.9_13B_Qwen1.5_iq4xs_1.3.gguf · shing3232/Sakura13B-LNovel-v0.9-qwen1.5-GGUF-IMX at main (huggingface.co) 本次测试不是一个经过系统设计的研究,作者也仅具有非常有限的日语支持。模型提示词设计较为简易,更多的是希望为读者展示当前最新模型的一些输出示例,不会有过多的评价。
llama.cpp GGUF模型(使用Qwen-14B v0.9模型进行测试) 模型量化类型模型大小推荐显存大小 fp1626.3G超出游戏显卡显存范围 Q8_014G24G Q6_K11.4G20G Q5_K_M10.1G16G Q4_K_M8.8G16G Q3_K_M7.2G16G Q2_K6.1G12G 模型详情 描述 Finetuned bySakuraUmi ...
llama.cpp GGUF模型(使用Qwen-14B v0.9模型进行测试) 模型量化类型模型大小推荐显存大小 fp1626.3G超出游戏显卡显存范围 Q8_014G24G Q6_K11.4G20G Q5_K_M10.1G16G Q4_K_M8.8G16G Q3_K_M7.2G16G Q2_K6.1G12G 模型详情 描述 Finetuned bySakuraUmi ...
发布时间-底模-参数量-版本Transformers模型GGUF量化模型GPTQ 8bit量化GPTQ 4bit量化GPTQ 3bit量化AWQ量化 20231026-Baichuan2 13B v0.8🤗Sakura-13B-LNovel-v0.8🤗Sakura-13B-LNovel-v0_8-GGUF🤗Sakura-13B-LNovel-v0_8-8bit🤗Sakura-13B-LNovel-v0_8-4bit🤗Sakura-13B-LNovel-v0_8-3bit...
发布时间-底模-参数量-版本Transformers模型GGUF量化模型GPTQ 8bit量化GPTQ 4bit量化GPTQ 3bit量化AWQ量化 20231026-Baichuan2 13B v0.8🤗Sakura-13B-LNovel-v0.8🤗Sakura-13B-LNovel-v0_8-GGUF🤗Sakura-13B-LNovel-v0_8-8bit🤗Sakura-13B-LNovel-v0_8-4bit🤗Sakura-13B-LNovel-v0_8-3bit...
本测试采用的是当前 Sakura 13B 的最新测试版本:基于 Qwen1.5 微调,具体为: sakura0.9_13B_Qwen1.5_iq4xs_1.3.gguf · shing3232/Sakura13B-LNovel-v0.9-qwen1.5-GGUF-IMX at main (huggingface.co) 本次测试不是一个经过系统设计的研究,作者也仅具有非常有限的日语支持。模型提示词设计较为简易,更多的是希...