linux部署llamacpp环境 使用llamacpp将Chinese-LLaMA-Alpaca-2模型转换为gguf模型 windows部署Text generation web UI 环境 使用Text generation web UI 加载模型并进行对话 准备工作 笔记本环境: 操作系统:win11 CPU:AMD R7535HS GPU:笔记本4060显卡 CUDA版本:11.8 VM虚拟机:Ubuntu16 下载模型和部署环境全程需要挂梯...
但我用的虚拟机,性能有限,故而使用Text generation web UI 加载模型,具体如何加载建议看原文档和项目说明 windows部署Text generation web UI 环境 原项目:https://github.com/oobabooga/text-generation-webui Step 1: 下载安装Miniconda3_py310 链接:https://repo./miniconda/Miniconda3-py310_23.3.1-0-Windows...