windows平台搭建部署ChatGLM2-6b过程 代码下载:git clone https://github.com/yanceyxin/ChatGLM2-6B.git 2. cd 到 ChatGLM2-6B文件目录,打开README.md,解读配置过程,根据README.md进行部署; 3. 激活到自己的配置的conda虚拟环境:conda activate deeplearning 4. 在 ChatGLM2-6B文件目录下,使用 pip 安装依...
以下是对自己部署ChatGLM2-6B过程的一个记录 1. ChatGLM2-6B模型说明 看源码官方介绍就好了 GitHub - THUDM/ChatGLM2-6B: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型 2. 本地硬件配置 Windows10系统 NVIDIA显卡:显存必须6G以上GPU;16G内存 3. 安装Cuda与Cudnn 在GPU上部署这个项目,...
开源免费大语言模型ChatGLM2-6B windows本地部署教程 #软件分享 #ai #创作灵感 - 云影同学于20230701发布在抖音,已经收获了53.3万个喜欢,来抖音,记录美好生活!
windows系统:Windows 10 显卡:6G以上GPU 二、实现过程 2.1 下载chatglm2-6b的项目源码 上chatglm2-6B的官方github下载源码(https://github.com/THUDM/ChatGLM2-6B)直接右键下载打包的源码即可,解压到本地目录。 这里我把项目zip直接下载到E:\盘,解压后项目根目录为E:\ChatGLM2-6B-main: 2.2 创建虚拟环境,...
在Windows 10操作系统下,本地化安装部署ChatGLM2-6B模型需要一系列的操作步骤。本文将以图解的方式,为读者提供详细的部署教程,帮助大家顺利完成模型的部署,并实现对话功能。 一、准备工作 首先,我们需要准备以下软件和环境: Anaconda:一个包含conda和Python在内的科学计算发行版,提供了大量的科学计算包及其依赖项。 Py...
ChatGLM2-6B 是清华与智谱合作开发的开源中英双语对话大模型 ChatGLM-6B 的第二代版本,模型对话流畅、部署门槛较低。硬件最低需求,显存13G以上1、不同量化等级的模型,对硬件要求不同,windows/linux均可。2、N卡配置比较简单,推荐使用N卡。模型 量化 显存要求ChatGLM2
进入环境conda activate xxx(进入环境windows有时不需要前面的conda命令) 退出环境conda deactivate 切换python版本conda install -y python==x.x.x 三、模型及项目下载 项目地址:https://github.com/THUDM/ChatGLM2-6B(ChatGLM2-6B git clone下来即可) ...
官网下载:https://developer.nvidia.com/cuda-11.1.0-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exelocal 参考教程:https://blog.csdn.net/qq_46126258/article/details/112708781 通过NVIDIA-smi命令查看CUDA的版本(v11.1)和内存6GB。
依据官方数据,同样是生成 8192 长度,量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存,量化后会稍微影响性能,但不多。
然后使用激活就可以使用当前的虚拟环境了,Linux系统使用source ./venv/bin/activate命令即可,Windows则直接双击./venv/Scripts/activate.bat或者运行./venv/Scripts/activate命令。我这里显示的是Linux的效果。 5. 安装环境所需的三方包 运行如下命令即可: