原文链接：https://arxiv.org/pdf/2402.18158.pdf仓库地址：https://github.com/thu-nics/qllm-eval 欢迎Follow该仓库查看更详细的实验数据以及绘图工具，并追踪更多模型的测试结果。后续该项目还将随着Transformer的版本更新持续迭代，以支持更多模型的KV Cache量化。1、训练后量化(Post-Training Quantization，PTQ)...
原文链接：https://arxiv.org/pdf/2402.18158.pdf仓库地址：https://github.com/thu-nics/qllm-eval 欢迎Follow该仓库查看更详细的实验数据以及绘图工具，并追踪更多模型的测试结果。后续该项目还将随着Transformer的版本更新持续迭代，以支持更多模型的KV Cache量化。1、训练后量化(Post-Training Quantization，PTQ)...
arxiv.org/abs/2310.08041 Topics transformers pytorch llama quantization post-training-quantization llm llama2 Resources Readme License Apache-2.0 license Activity Custom properties Stars 34 stars Watchers 8 watching Forks 3 forks Report repository Releases No releases published Packages No...
[4] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto, Jared Kaplan, Harri Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.[5] Carlos Gómez-Rodríguez and...
直播时间:2月26日19:00 直播地点:智东西公开课知识店铺 成果 论文标题:《QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models》 论文地址:https://arxiv.org/pdf/2310.08041.pdf 开源代码:https://github.com/ModelTC/QLLM...
论文:Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning地址:https://arxiv.org/pdf/2406.14283单位:Skywork AI、南洋理工 这篇文章介绍了一个名为Q的框架,旨在改善大型语言模型(LLMs)在多步推理任务中的性能。作者指出,尽管LLMs在许多自然语言任务上表现出色,但在执行多步推理时,由于其自...
原文链接:https://arxiv.org/pdf/2402.18158.pdf 仓库地址:https://github.com/thu-nics/qllm-eval 欢迎Follow该仓库查看更详细的实验数据以及绘图工具,并追踪更多模型的测试结果。后续该项目还将随着Transformer的版本更新持续迭代,以支持更多模型的KV Cache量化。
原文链接:https://arxiv.org/pdf/2402.18158.pdf 仓库地址:https://github.com/thu-nics/qllm-eval 欢迎Follow该仓库查看更详细的实验数据以及绘图工具,并追踪更多模型的测试结果。后续该项目还将随着Transformer的版本更新持续迭代,以支持更多模型的KV Cache量化。
原文链接:https://arxiv.org/pdf/2402.18158.pdf 仓库地址:https://github.com/thu-nics/qllm-eval 欢迎Follow该仓库查看更详细的实验数据以及绘图工具,并追踪更多模型的测试结果。后续该项目还将随着Transformer的版本更新持续迭代,以支持更多模型的KV Cache量化。
直播时间:2月26日19:00 直播地点:智东西公开课知识店铺 成果 论文标题:《QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models》 论文地址:https://arxiv.org/pdf/2310.08041.pdf 开源代码:https://github.com/ModelTC/QLLM...