针对你提到的错误“ValueError: Cannot find the config file for GPTQ”,我们可以按照以下步骤进行排查和解决: 确认错误信息来源: 首先,需要确认这个错误是由哪个模块或哪段代码抛出的。从错误信息来看,很可能是在使用GPTQ模型时,系统无法找到对应的配置文件。 定位配置文件位置: 通常,模型配置文件(如config.j
gptq Create de-config.sh f2e9360· Nov 29, 2023 History5 Commits config.gpg Update config.gpg Nov 29, 2023 de-config.sh Create de-config.sh Nov 29, 2023 test.mp3 Add files via upload Nov 27, 2023 yecai59.mp3 Add files via upload Nov 27, 2023 ...
跑Yi官方给的gptq量化脚本,发生报错(图1)网上查了一下,这个bug实际上autogptq已经解决了(图2),于是我在自己环境中看了一下同一个脚本,确实已经改过来了,后续又尝试了一些config(图3),依然是相同的报错于是索性找到了调用QuantLinear的统一接口,就是在auto_gptq/utils/import_utils.py 的dynamically_import_Quan...
Hugging Face 模型镜像/Meta-Llama-3.1-8B-Instruct-GPTQ-INT4 代码Issues0Pull Requests0Wiki统计流水线 服务 加入Gitee 与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :) 免费加入 已有帐号?立即登录 分支(1) 管理 管理 main
git config --global user.name userName git config --global user.email userEmail Qwen2-7B-Instruct-GPTQ-Int4 / generation_config.json generation_config.json243 Bytes 一键复制编辑原始数据按行查看历史 feihu.hf提交于11个月前.upload weights
Meta-Llama-3.1-8B-Instruct-GPTQ-INT4 / quantize_config.json quantize_config.json264 Bytes 一键复制编辑原始数据按行查看历史 Alvaro Bartolome提交于10个月前.Upload folder using huggingface_hub 12345678910111213 { "bits":4, "group_size":128, ...
"quantization_config":{ "bits":4, "damp_percent":0.1, "dataset":null, "desc_act":false, "group_size":128, "modules_in_block_to_quantize":null, "quant_method":"gptq", "sym":true, "true_sequential":true }, "rms_norm_eps":1e-06, ...
Hugging Face 模型镜像/Qwen2-7B-Instruct-GPTQ-Int4 代码Issues0Pull Requests0Wiki统计流水线 服务 加入Gitee 与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :) 免费加入 已有帐号?立即登录 文件 分支(1) 管理 管理 main 克隆/下载 ...
"quantization_config":{ "bits":8, "damp_percent":0.1, "dataset":null, "desc_act":false, "group_size":128, "modules_in_block_to_quantize":null, "quant_method":"gptq", "sym":true, "true_sequential":true }, "rms_norm_eps":1e-06, ...
git config --global user.name userName git config --global user.email userEmail Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 / config.json config.json1.23 KB 一键复制编辑原始数据按行查看历史 JustinLin610提交于6个月前.update tokenizer_config.json,config.json,generation_config.json ...