quantize_model 功能说明 训练后量化接口,根据用户设置的量化配置文件对网络结构进行改图处理,插入权重量化和数据量化等相关算子,然后返回修改后的网络。 函数原型 network = quantize_model(config_file, network, *input_data) 参数说明 参数名 输入/返回值 含义 使用
config_save_to='Output/QDQ.json') 如果PLATFORM = TargetPlatform.QNN_DSP_INT8, quantize_torch_model.py会export出一个 .json 和 .onnx(看起来和fp32原模型一样);如果PLATFORM = TargetPlatform.ONNXRUNTIME,会生成一个.json 和 .onnx(体积比原模型小了,且是一个QDQ模型),如图 但想问一下,如何生成...
Search or jump to... Search code, repositories, users, issues, pull requests... Provide feedback We read every piece of feedback, and take your input very seriously. Include my email address so I can be contacted Cancel Submit feedback Saved searches Use saved searches to filter your...
MainGPU int `json:"main_gpu,omitempty"` LowVRAM bool `json:"low_vram,omitempty"` F16KV bool `json:"f16_kv,omitempty"` LogitsAll bool `json:"logits_all,omitempty"` VocabOnly bool `json:"vocab_only,omitempty"` UseMMap bool `json:"use_mmap,omitempty"` UseMLock bool `json:"use_mlock,...
export_ppq_graph(graph=quantized, platform=PLATFORM, graph_save_to='Output/quantized(onnx).onnx', config_save_to='Output/quantized(onnx).json') 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 ...
README.md SECURITY.md convert_hf_to_gguf.py convert_hf_to_gguf_update.py convert_llama_ggml_to_gguf.py convert_lora_to_gguf.py flake.lock flake.nix mypy.ini poetry.lock pyproject.toml pyrightconfig.json requirements.txtBreadcrumbs llama.cpp /examples /quantize / README.md Latest...
Fin-Alpaca-LoRA-7B-Meta/ - adapter_config.json # LoRA权重配置文件 - adapter_model.bin # LoRA权重文件 LoRA模型下载分类重构模型训练数据训练序列长度版本 Fin-Alpaca-LoRA-7B-Meta 中文金融问答微调模型 decapoda-research/llama-7b-hf 12M 指令数据 512 V1.0 Fin-Alpaca-LoRA-7B-Linly 中文...
config_save_to='Output/QDQ.json') 如果PLATFORM = TargetPlatform.QNN_DSP_INT8, quantize_torch_model.py会export出一个 .json 和 .onnx(看起来和fp32原模型一样);如果PLATFORM = TargetPlatform.ONNXRUNTIME,会生成一个.json 和 .onnx(体积比原模型小了,且是一个QDQ模型),如图 ...
export_ppq_graph(graph=quantized, platform=PLATFORM, graph_save_to='Output/quantized(onnx).onnx', config_save_to='Output/quantized(onnx).json') 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 ...
.pre-commit-config.yaml LICENSE MANIFEST.in ProgramEntrance_1.py ProgramEntrance_2.py README.md requirements.txt setup.py Latest commit ZhangZhiPku 算法更新与bug修复 (#202) Aug 11, 2022 bb856aa·Aug 11, 2022 History History File metadata and controls ...