这篇研究名为 "GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints"，由来自Google Research的团队所撰写。他们提出了一种称为“分组查询注意力（Grouped-query attention, GQA）”的新方法，旨在解决Transformer模型中的一个关键问题，即如何在保持预测质量的同时，提高模型的运算速度。
分组查询注意力机制 Grouped-query attention(GQA) 2023年 Google Research GQA:Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints https://arxiv.org/pdf/2305.13245 提高模型性能,Llama2使用了分组注意力机制,主要思想就是降低key-value的head数量来提升性能。对于RoPE感兴趣的可以详细阅...