LSQ量化算法 关于LSQ其实与FakeQuantize量化的方式很像,唯一不同在于LSQ的scale是通过学习出来的,而非通过统计待量化数据中的最大最小值后通过公式计算出来的,其实这也就是LSQ量化算法的核心思想,即scale通过训练收敛决定,而非由tensor决定。有了这样一个核心思想以后,我们来看看LSQ是如何训练scale的。 首先,LSQ的量化...
1. Fakequantize 选取合适的scale将float的 weight tensor 转换成低比特的整型数据。一般后量化的算法都是通过找合适的scale 量化: 反量化: 量化scale: 其中:r表示浮点数,q表示低比特的整型数,scale是浮点和整型之间的缩放因子。 2. LSQ LSQ中tensor的量化过程和伪量化一样,而其核心:scale不是通过tensor计算而来,...
今天，我们将焦点转向LSQ量化算法，一种由IBM提出的创新方法，其论文链接在这里：Learned Step Size Quantization。相较于FakeQuantize，LSQ量化算法引入了一个关键差异：scale不再是通过数据直接计算得出，而是通过学习得到动态调整的参数。这便是LSQ的核心思想，它允许scale在训练过程中自我优化，以适应数据特...