依据官方数据,同样是生成 8192 长度,量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存,量化后会稍微影响性能,但不多。
windows系统:Windows 10 显卡:6G以上GPU 二、实现过程 2.1 下载chatglm2-6b的项目源码 上chatglm2-6B的官方github下载源码(https://github.com/THUDM/ChatGLM2-6B)直接右键下载打包的源码即可,解压到本地目录。 这里我把项目zip直接下载到E:\盘,解压后项目根目录为E:\ChatGLM2-6B-main: 2.2 创建虚拟环境,...
1. ChatGLM2-6B模型说明 看源码官方介绍就好了 GitHub - THUDM/ChatGLM2-6B: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型 2. 本地硬件配置 Windows10系统 NVIDIA显卡:显存必须6G以上GPU;16G内存 3. 安装Cuda与Cudnn 在GPU上部署这个项目,你可能需要CUDA和Cudnn。他们是英伟达的计算工...
二、安装Anaconda 访问Anaconda官网,下载Windows 10版本的安装包。 安装Anaconda,按照提示完成安装过程。 三、安装PyCharm 访问PyCharm官网,下载Windows 10版本的安装包。 安装PyCharm,按照提示完成安装过程。 四、配置环境 打开Anaconda Prompt,创建一个新的虚拟环境,例如命名为“chatglm”。 激活新创建的虚拟环境。 安...
为了在本地环境中使用ChatGLM2-6B,您需要进行一系列的部署步骤。以下是详细的指南:一、环境准备在开始部署之前,您需要确保您的计算机满足以下要求: 操作系统:Windows、macOS或Linux操作系统均可。 内存:至少8GB RAM,推荐16GB或以上。 存储:至少20GB的可用空间,建议使用SSD硬盘以提高读写速度。 Python:Python 3.6及...
windows平台搭建部署ChatGLM2-6b过程 代码下载:git clone https://github.com/yanceyxin/ChatGLM2-6B.git 2. cd 到 ChatGLM2-6B文件目录,打开README.md,解读配置过程,根据README.md进行部署; 3. 激活到自己的配置的conda虚拟环境:conda activate deeplearning ...
在CPU 上运行量化后的模型,还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ,可在安装TDM-GCC时勾选 openmp。在 MacOS 上请参考这里。 运行程序 命令行 python cli_demo.py 程序会在命令行中进行交互式的对话,在命令行中输入指示并回车即可生成回复,输入 clear 可以清空对话历史,输入 sto...
进入环境conda activate xxx(进入环境windows有时不需要前面的conda命令) 退出环境conda deactivate 切换python版本conda install -y python==x.x.x 三、模型及项目下载 项目地址:https://github.com/THUDM/ChatGLM2-6B(ChatGLM2-6B git clone下来即可) ...
一、部署过程 1. 安装python、git等必须工具 在要部署项目之前,需要部署必须的一些工具。下面详细讲解每一步所需的工具安装步骤。 1.1 安装python 对于如何安装python,网上有很多教程,这里只是简单讲解。 (1)通过安装anaconda、miniconda安装python 可以通过anaconda和miniconda安装虚拟环境的方式安装python,这种安装的好处就...
开源免费大语言模型ChatGLM2-6B windows本地部署教程 #软件分享 #ai #创作灵感 - 云影同学于20230701发布在抖音,已经收获了53.2万个喜欢,来抖音,记录美好生活!