我评测了Qwen1.5-7B-Chat和两个量化模型的MMLU效果,发现AWQ的分数特别低,比直接naive 4bit还差。这是什么情况呢? 浮点模型分数0.60,而GPTQ版本0.59而AWQ版本只有0.45,naive的版本都有0.589 GPTQ和AWQ量化模型: https://huggingface.co/Qwen/Qwen1.5-7B-Chat-AWQ https:
"4096", "--model", "LoneStriker/Qwen1.5-7B-Chat-AWQ", "--host", "0.0.0.0", ...
4月12日模力方舟 AI 应用沙龙 · 杭州站报名开放,产研前线第一手干货,AI 开发者必冲! Watch 1Star0Fork1 数据小黑/Qwen1.5-7B-Chat-AWQ forked fromHugging Face 模型镜像/Qwen1.5-7B-Chat-AWQ 发行版 Releases Releases 功能基于仓库中的历史标记 ...
Watch 1Star0Fork1 数据小黑/Qwen1.5-7B-Chat-AWQ forked fromHugging Face 模型镜像/Qwen1.5-7B-Chat-AWQ Issues / 里程碑 欢迎使用里程碑! 里程碑是一个项目计划管理工具,用于集中管理 Issue 和 Pull Request 进度。
1.开源了包括0.5B、1.8B、4B、7B、14B和72B在内的6个不同规模的Base和Chat模型; 2.全部模型支持32k上下文 3.增加了AWQ以及GGUF量化模型 4.中文RAG和代码解释器能力大幅提升 5.QWen1.5已经与vLLM、SGLang(用于部署)、AutoAWQ、AutoGPTQ(用于量化)、Axolotl、LLaMA-Factory(用于微调)以及llama.cpp(用于本地 ...
千问1.5版本发布 | 今天在群里看到消息,千问更新了新版的模型,包括0.5B、1.8B、4B、7B、14B和72B在内的6个不同规模的Base和Chat模型,并一如既往地放出了各规模对应的量化模型。此次更新中,我们不仅像之前一样提供Int4和Int8的GPTQ模型,还提供了AWQ以及GGUF量化模型。
我评测了Qwen1.5-7B-Chat和两个量化模型的MMLU效果,发现AWQ的分数特别低,比直接naive 4bit还差。这是什么情况呢? 浮点模型分数0.60,而GPTQ版本0.59而AWQ版本只有0.45,naive的版本都有0.589 GPTQ和AWQ量化模型: https://huggingface.co/Qwen/Qwen1.5-7B-Chat-AWQ https:
使用IDEA 插件离线检测 将OpenSCA 扫描能力集成到 IntelliJ 平台 IDE 工具,随时随地保障组件依赖安全。如何使用 了解详情 使用OpenSCA CLI 扫描分析 OpenSCA CLI 是一款开源的软件成分分析工具,用来扫描项目的第三方开源组件依赖及漏洞信息。如何使用 了解详情