显卡类型:RTX3090 24G显存 这里也可以通过autoDL平台,租用GPU算力,很便宜,1块多1h 不同参数量化等级,需要的显存大小也不一样,大致如下图 图1 不同参数量化等级 chatglm2-6B对显存要求 部署流程 模型文件 首先明确:深度学习模型一般包含两个部分:分别是模型参数和模型结构。 模型参数:这是模型在训练过程中学习到的...
以下是对自己部署ChatGLM2-6B过程的一个记录 1. ChatGLM2-6B模型说明 看源码官方介绍就好了 GitHub - THUDM/ChatGLM2-6B: ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型 2. 本地硬件配置 Windows10系统 NVIDIA显卡:显存必须6G以上GPU;16G内存 3. 安装Cuda与Cudnn 在GPU上部署这个项目,...
一、环境准备在开始部署之前,您需要确保您的本地计算机满足以下要求: 操作系统:Windows、macOS或Linux操作系统; 内存:至少8GB内存,推荐16GB或以上; 存储:至少20GB的可用存储空间,推荐使用SSD硬盘; 显卡:支持CUDA的NVIDIA显卡(如GeForce系列),或兼容的AMD显卡。二、安装Cuda环境如果您使用的是NVIDIA显卡,您需要安装Cuda...
这些特性使得ChatGLM2-6B在同尺寸开源模型中具有较强的竞争力。 二、本地安装电脑配置要求 在开始安装之前,需要确保本地电脑满足以下配置要求: 操作系统:Windows10及以上 显卡:推荐NVIDIA显卡,显存6G以上(最好NVIDIA显卡20系列以上) 内存:建议16G及以上 Python版本:3.8以上 三、环境安装 1. 安装Anaconda Anaconda是一...
首先,确保您的个人电脑满足部署ChatGLM2-6B的最低硬件要求。这通常包括足够的内存(建议32GB以上)、充足的存储空间以及性能良好的处理器。此外,虽然ChatGLM2-6B可以在CPU上运行,但为获得更好的性能,推荐使用具备一定显存(至少6GB)的显卡。 操作系统方面,建议使用64位的Linux或Windows系统,并确保系统已更新至最新版本。
一、硬件与操作系统要求 首先,确保您的个人电脑具备足够的硬件资源,包括高性能的处理器、足够的内存(建议32GB以上)和存储空间,以及支持CUDA的NVIDIA显卡(显存至少6GB,以支持模型量化技术)。如果您的电脑没有GPU硬件,也可以在CPU上进行对话,但速度会相对较慢。 操作系统方面,建议使用64位的Linux或Windows系统,并确保系...
2.1 性能要求 推理这块,chatglm2-6b 在精度是 fp16 上只需要 14G 的显存,所以 P40 是可以 cover 的。 EA 上 P40 显卡的配置如下: 2.2 镜像环境 做微调之前,需要编译环境进行配置,我这块用的是 docker 镜像的方式来加载镜像环境,具体配置如下:
在矩池云主机市场:https://matpool.com/host-market/gpu,选择显存大于13G的机器,比如A4000 显卡,然后点击租用按钮(选择其他满足显存要求的显卡也可以)。 租用页面,搜索 ChatGLM2-6B,选择这个镜像,再点击租用即可。 机器租用成功后,你会看到 8000 端口对应链接,这是 ChatGLM2-6B 默认的 api 接口,镜像已经设置了...