windows系统:Windows 10 显卡:6G以上GPU 二、实现过程 2.1 下载chatglm2-6b的项目源码 上chatglm2-6B的官方github下载源码(https://github.com/THUDM/ChatGLM2-6B)直接右键下载打包的源码即可,解压到本地目录。 这里我把项目zip直接下载到E:\盘,解压后项目根目录为E:\ChatGLM2-6B-main: 2.2 创建虚拟环境,...
Windows环境加载chatglm-6b-int4-qe模型,GPU启动,提问时报错。 Environment - OS:windows 10 - Python:3.9 - Transformers:4.26.1 - PyTorch:1.10 - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : Anything else? No response Contributor YIZXIY commented Mar 30, 2023...
我暂时不能理解图片,但根据文本内容我可以提供以下回答 很遗憾听到您在部署ChatGLM-2-6b-int4时遇到了困难。然而,由于您的问题没有提供详细的错误信息或具体的操作步骤,我无法给出准确的解决方案。为了更好地帮助您解决问题,建议您按照以下步骤进行操作:1. 请确保您的计算机满足运行Windows 10和ChatGLM-2-6b-int...
[BUG/Help] <Windows CPU 无法启用多核并行运算 --> quantization_kernels_parallels.so>THUDM/ChatGLM2-6B#121 bwj124mentioned this issueJul 21, 2023 [Feature | Bug Fix] <ChatGLM2-6B-int4 使用CPU部署报错:找不到文件quantization_kernels_parallel.so>THUDM/ChatGLM2-6B#352 ...
原因:这是因为ctypes在Windows环境下的bug还没修复 作者:幽灵跃迁https://www.bilibili.com/read/cv24874902出处:bilibili 解决办法: 需要对 [模型文件夹]\quantization.py 中的 ctypes.cdll.LoadLibrary相关代码 进行处理: # 搜索这句 kernels = ctypes.cdll.LoadLibrary(kernel_file) ...
之前简单用过chatglm6B 1和2代 玩这些的一般是在linux部署比较多，Windows不太方便。我看你的显示gcc...
在Windows 下加载INT-4 量化模型,显示 CPU kernal 编译成功,但无法加载已编译的 kernal。经检查 quantization_kernels_parallel.so 成功编译,且使用os.path.exists()检测文件也返回True。 在WSL 下一切正常。 Environment -OS: Windows 11-Python: 3.10.6-Transformers: 4.27.1-PyTorch: 1.13.1+cu117-CUDA Suppor...
Is there an existing issue for this? I have searched the existing issues Current Behavior Expected Behavior 启动后webui 可以正常打开 'gcc' 不是内部或外部命令,也不是可运行的程序 或批处理文件。 Compile parallel cpu kernel gcc -O3 -fPIC -pthread -fopenmp -
Windows环境下使用GPU加载INT-4模型,前面顺利,使用MingW下载的gcc,无法编译quantization_kernels_parallel Environment -OS:Windows10-Python:3.10.10-Transformers:4.27.1-PyTorch:2.0.0+cu118-CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`):True ...
根据README.md应当能够正常运行,并占用4G多显存。 Steps To Reproduce 1.conda activate env_name //激活环境 2.python cli_demo.py //运行命令行demo 3.等待出现提示词提示符后,输入“你好” Environment - OS:Windows11 - Python:3.10.9 - Transformers:4.26.1 - PyTorch:2.0.0 - CUDA Support:true Anyt...