第一种是基于相似性进行分组查询,比如根据查询相似性进行分组,我们需要计算查询之间的相似度,然后分配到对应组别中。 第二种是将查询头分组,每组共享一个键头和值头,这种方法允许 GQA 在多头注意力和多查询注意力之间进行插值,实现质量和速度之间的平衡。 第三种是使用中等数量的键值头,GQA 通过使用中等数量的键值...