from transformers import AutoTokenizer, AutoModelForCausalLM from modelslim.pytorch.llm_ptq.anti_outlier import AntiOutlierConfig, AntiOutlier from modelslim.pytorch.llm_ptq.llm_ptq_tools import Calibrator, Quan
anti_outlier的核心代码在 msmodelslim\msmodelslim\pytorch\llm_ptq\anti_outlier\anti_outlier.py。init()函数和process()函数的核心逻辑流程图如下：步骤1 是在AntiOutlier类的init()函数中完成的，后续步骤是在process()函数中完成的。初始化有向无环图是在init()函数的这个部分执行的：try: self.init_dag...
引入离群值抑制AntiOutlier:在模型加载和模型量化之间插入离群值抑制代码,对模型进行离群值抑制,并调用PyTorch接口model.save_pretrained,保存离群值抑制后的浮点模型。 以Llama13B为例: # 离群值抑制 print("outlier suppression start...") anti_config = AntiOutlierConfig(anti_method="m2") anti_outli...
其中w_bit和a_bit代表权重量化位数和激活值量化位数,anti_method代表抑制算法,'m4'是 smooth_quant(m1) 的改进方法,相比于 smooth_quant 增加了量化层。dev_type和dev_id代表运行异常值抑制使用的设备。 anti_outlier的核心代码在 msmodelslim\msmodelslim\pytorch\llm_ptq\anti_outlier\anti_outlier.py。init()...
您好,是的,遇到这个报错可以使用install.sh脚本安装msmodelslim,相同问题参考:#IBLNLF:quant_deepseek_w8a8.py 执行报错,no module named: msmodelslim.pytorch.llm_ptq.anti_outlier.anti_utils divided7 3个月前 复制链接地址 我刚才也在弄 跑通了 (CANN 8.0.0): git clone https://gitee.com/ascend...
anti_method 输入 异常值抑制anti_outlier使用方法。 数据类型:string 可选值['m1', 'm2']。 'm1':异常值抑制方式1。 'm2':异常值抑制方式2,推荐使用。 dev_type 输入 device类型。 可选。 数据类型:object。 默认为'cpu',不支持用户修改。 调用示例 from modelslim.pytorch.llm_ptq.anti_outlier...
from msmodelslim.pytorch.llm_ptq.anti_outlierimportAntiOutlierConfig,AntiOutlier from msmodelslim.pytorch.llm_ptq.llm_ptq_toolsimportCalibrator,QuantConfig from msmodelslim.tools.loggerimportset_logger_level defparse_args():parser=argparse.ArgumentParser()parser.add_argument('--model_path',type=str,...
其中w_bit和a_bit代表权重量化位数和激活值量化位数,anti_method代表抑制算法,'m4'是 smooth_quant(m1) 的改进方法,相比于 smooth_quant 增加了量化层。dev_type和dev_id代表运行异常值抑制使用的设备。 anti_outlier的核心代码在 msmodelslim\msmodelslim\pytorch\llm_ptq\anti_outlier\anti_outlier.py。init()...
OpsTypefrommsmodelslim.tools.copy_config_filesimportcopy_config_files, modify_config_jsonfrommsmodelslim.pytorch.llm_ptq.anti_outlierimportAntiOutlierConfig, AntiOutlierfrommsmodelslim.pytorch.llm_ptq.llm_ptq_toolsimportCalibrator, QuantConfigfrommsmodelslim.tools.loggerimportset_logger_leveldefparse_args...
msmodelslim/msmodelslim/pytorch/llm_ptq/anti_outlier Git tree hash: e1a3e9f1b2bfb46e12906202fcd9302a14cbf2a3 表态 i-robot成员2月8日 14:26 链接地址 [APPROVALNOTIFIER] This PR isNOT APPROVED This pull-request has been approved by: