koboldcpp本地运行大模型的工具,gpu和cpu版。省去了搭运行环境的麻烦。算是gpt4all的竞品。可以用私人知识库,离线运行,避免泄露,可以使用没有限制的gguf。 github.com/LostRuins/koboldcpp/releases 运...
united kobold-ai_dev / GPU0.cmd GPU0.cmd31 Bytes 一键复制编辑原始数据按行查看历史 Henk提交于1年前.Disable Horde UI due to lockups 12 setCUDA_VISIBLE_DEVICES=0 play Loading... 马建仓 AI 助手 尝试更多 代码解读 代码找茬 代码优化
ram_blocks = gpu_blocks = cumulative_gpu_blocks = None global breakmodel import breakmodel if utils.HAS_ACCELERATE: import accelerate.utils if args.breakmodel_disklayers is not None: breakmodel.disk_blocks = args.breakmodel_disklayers disk_blocks = breakmodel.disk_blocks gpu_blocks = break...