eTq⋅Δw+wq=quant(wq) 可以得到量化版本的OBC(OBQ)的权重更新公式和重要性评估公式为: wp=argminwp(quant(wp)−wp)2[H−1]pp,δp=−wp−quant(wp)[H−1]pp⋅H−1:,p OBQ会按照参数重要性对参数进行逐个量化。 终于到了GPTQ。 论文:https://arxiv.org/pdf/2210.17323 基于OBS,GPTQ...