以下是对自己部署ChatGLM2-6B过程的一个记录 1. ChatGLM2-6B模型说明 看源码官方介绍就好了 GitHub - THUDM/ChatGLM2-6B: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型 2. 本地硬件配置 Windows10系统 NVIDIA显卡:显存必须6G以上GPU;16G内存 3. 安装Cuda与Cudnn 在GPU上部署这个项目,...
首先,我们需要在本地搭建一个适合ChatGLM3运行的环境。由于ChatGLM3要求Python版本3.7+,因此我们需要确保系统中的Python版本符合要求。如果版本过低,可以通过Anaconda等工具进行升级。 下载并安装Anaconda: 访问Anaconda官网,下载适用于你操作系统的安装包。 按照安装向导完成安装,并配置环境变量。 创建虚拟环境: 打开终端或...
本地部署大模型知识库,实现高效问答应用 | 全新的开源项目LangChain-Chatchat,它基于ChatGLM等大语言模型与Langchain等应用框架实现了检索增强生成(RAG)大模型知识库,支持直接本地部署。项目支持多种大模型,包括ChatGLM、QWen等,并利用FastChat接入Vicuna、Alpaca、LLaMA、Koala、RWKV等模型,实现了全流程可使用开源模型...
以下是对自己部署ChatGLM2-6B过程的一个记录 1. ChatGLM2-6B模型说明 看源码官方介绍就好了 GitHub - THUDM/ChatGLM2-6B: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型 2. 本地硬件配置 Windows10系统 NVIDIA显卡:显存必须6G以上GPU;16G内存 3. 安装Cuda与Cudnn 在GPU上部署这个项目,...