所以这是一个非常重要的领域--我认为! 我们看到了许多沿着这个方向的优秀工作,但我想分享两组问题,在我们的探索过程中一直在寻找答案: (1)(效率)是否有免费午餐可以加速长文本推理?目前有两个阵营: ⚖️ KV压缩对于部署预训练的LLM很有用,但我们会失去什么,是否值得在花费大量计算训练一个出色模型后进行压缩?
BeidiChen(@tqchenml):@BeidiChen 🐷 MagicPig是我们努力创建具有挑战性的推理任务的成果,展示了长文本模型真正潜力的任务,这些任务无法通过简单的检索解决。除了处理长文本封闭/开放LLMs(更多内容即将推出),我们还探索了自己的KV压缩技术。 有关更多详细信息,请查看Zhuoming的帖子,但这里的关键是:即使看似“神谕”...