此处以Qwen1.5-7B-Galtransl-v1.5为例, HuggingFace Model card 给出了不同量化等级使用的显存大小,但在模型文件中只给出了IQ4_KS和Q6_K两个等级。根据实测,Q6_K在 llama-cpp-python 部署方式下搭配GalTransl使用时显存占用小于 8 GB。 将模型下载到SakuraLLM/models/目录中即可。 准备环境 安装Python、CUDA ...
基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。 新建了TG交流群,欢迎交流讨论。 对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译,不保证会获得与README中的说明一致的质量!
Docker部署 详见分支dev_server中的README.docker.md 本地部署 首先将本仓库拉取到本地。 启动API服务 切换到dev_server分支,该分支提供了API接口(感谢KurikoMoe),用以提供API服务,以接入其他程序。 #参数说明:#模型相关#--model_name_or_path:模型本地路径或者huggingface仓库id。#--model_version:模型版本,本...
LunaTranslator已经支持Sakura API,可以通过本地部署API后端,并在LunaTranslator中配置Sakura API来使用Sakura模型进行Galgame实时翻译。 使用KurikoMoe的版本可以支持流式输出。目前官方版本已经支持流式输出,只需在翻译设置界面勾选流式输出即可。 LunaTranslator是一个Galgame翻译工具,支持剪贴板、OCR、HOOK,支持40余种翻...
基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。 新建了TG交流群,欢迎交流讨论。 对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译,不保证会获得与README中的说明一致的质量!
第一种之前用kaggle部署的时候也遇到过一次,也是”注:XX和XX同音“ Collaborator pipixia244 commented Apr 10, 2024 lm-studio载入并不在支持范围内,“第二次”出现的无关文本输出可能和未正确使用chatml的prompt模板有关。 关于”注“的问题已经记下,可能系数据集问题,后续会进行检查。 pipixia244 added bug ...
描述一下Bug 在Kaggle部署会出现cuDNN、cuFFT、cuBLAS错误 2024-04-23 09:30:27.019918: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:9261] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-04-23 09:30:...
基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。 新建了TG交流群,欢迎交流讨论。 对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译,不保证会获得与README中的说明一致的质量!
基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。 新建了TG交流群,欢迎交流讨论。 对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译,不保证会获得与README中的说明一致的质量!
基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。 新建了TG交流群,欢迎交流讨论。 对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译,不保证会获得与README中的说明一致的质量!