对于一个CNN/RNN/Transformer等模型, 一般需要量化的对象包含2个部分: weight: 即模型训练之后的权重参数, 模型训练好之后这部分是固定的, 因此weight可以直接量化 featureMap/Activation: 和输入数据有关, Activation指的是模型运行期间的中间数据Intermediate data,如果需要对Activation进行量化,则需要采用一部分代表性的...
如果一个节点被声明为需要被量化(QAnnotateExpr),在其被消耗的时候会添加simulated_quantize算子。 Step2.2.2.3 calibrate 调用流程: 1 tvm.transform.module_pass(calibrate) 1.1 _set_params 1.1.1 input_scale_func(收集input数据) 1.1.2 weight_scale_func(收集weight数据) Relay IR没有改变,calibration是量化过...