QuantMatMulCustom软件包替换正式Cann Mobile版本包 已合并 luweiqiang:master Ascend:master luweiqiang 创建于 2024-12-30 15:42 克隆/下载 QuantMatMulCustom软件包替换正式Cann Mobile版本包 评论 20 提交8 文件4 检查 i-robot 成员 2024年12月30日 LGTM NOTIFIER: This PR is LGTM. Reviewers added /lgtm...
伪量化npu_weight_quant_batchmatmul接口增加inner_precise参数 二、建议测试周期和提测地址 建议测试完成时间:xxxx.xx.xx 投产上线时间:xxxx.xx.xx 提测地址:CI环境/压测环境 测试账号: 三、变更内容 3.1 关联PR列表 3.2 数据库和部署说明 常规更新 重启unicorn ...
示例:ONNX模型的量化处理(从float32到int8) from onnxruntime.quantization import quantize_dynamic, QuantType import onnx # 加载已导出的ONNX模型 model_path = "matmul_model.onnx" quantized_model_path = "matmul_model_quantized.onnx" # 对模型进行动态量化 quantize_dynamic( model_path, quantized_mo...