🤖️ 一种利用 ChatGLM-6B + langchain 实现的基于本地知识的 ChatGLM 应用。增加 clue-ai/ChatYuan 项目的模型 ClueAI/ChatYuan-large-v2 的支持。 💡 受 GanymedeNil 的项目 document.ai 和AlexZhangji 创建的 ChatGLM-6B Pull Request 启发,建立了全部基于开源模型实现的本地知识问答应用。 ✅ 本...
基于ChatGLM 等大语言模型与 Langchain 等应用框架实现,开源、可离线部署的 RAG 与 Agent 应用项目 - dorisoy/Langchain-Chatchat
ChatGLM2模型+Langchain知识库挂载 经过上文介绍，在中文能力测评中，ChatGLM2-6B 是众多大模型中表现较好的一个，同时 由于其发布时间较早，投资者对于它的认知程度也更高。我们此处以该模型为例进行部署 和 Langchain 知识库的挂载介绍。我们推荐首先使用模型 Github 官方项目的代码进行部署，在 web_demo.py 中...
git clone https://github.com/chatchat-space/Langchain-Chatchat.git #进入目录 cd Langchain-Chatchat 安装依赖 pip install "langchain-chatchat[xinference]" -U 使用模型推理框架并加载模型,这里用到的是Xinference。 【注意】为避免依赖冲突,请将 Langchain-Chatchat 和模型部署框架如 Xinference 等放在不...
正式开始前,建议使用AnaConda来管理Python虚拟环境。LangChain和ChatGLM2的Python环境最好分开,两者安装的依赖会有区别。 所有的测试代码都在这个git仓库上给出: GitHub - whitestarlau/LangchainTestgithub.com/whitestarlau/LangchainTest 另外,因为LangChain的迭代速度很快,所以我在此列出我测试环境的一些关键库的...
all -d --name chatglm -p 7860:7860 -v ~/github/langchain-ChatGLM:/chatGLM chatglm-cuda:...
docker build -f Dockerfile-cuda -t chatglm-cuda:latest . docker run --gpus all -d --name chatglm -p 7860:7860 chatglm-cuda:latest #若要使用离线模型，请配置好模型路径，然后此repo挂载到Container docker run --gpus all -d --name chatglm -p 7860:7860 -v ~/github/langchain-ChatGL...
🤖️ 一种利用ChatGLM-6B+langchain实现的基于本地知识的 ChatGLM 应用。
docker build -f Dockerfile-cuda -t chatglm-cuda:latest . docker run --gpus all -d --name chatglm -p 7860:7860 chatglm-cuda:latest #若要使用离线模型，请配置好模型路径，然后此repo挂载到Container docker run --gpus all -d --name chatglm -p 7860:7860 -v ~/github/langchain-ChatGL...
git clone https://github.com/THUDM/ChatGLM2-6B 安装依赖 cd ChatGLM2-6B# 其中 transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能pip install -r requirements.txt 下载模型 # 这里我将下载的模型文件放到了本地的 chatglm-6b 目录下git clone https://...