PTQ-SL: Exploring the Sub-layerwise Post-training Quantization Re-parameterizing Your Optimizers rather than Architectures PACT : PArameterized Clipping Activation for Quantized Neural Networks LSQ : Learned Ste
设计轻量化模型需要系统化策略。通道注意力机制帮助模型聚焦关键特征，SENet模块通过特征重标定，使用全局平均池化获取通道权重，使模型在增加2%计算量的情况下提升分类准确率。动态网络根据输入内容调整计算路径，SkipNet在图像简单区域跳过部分卷积层，整体计算量减少30%。跨模态蒸馏拓展应用边界，CLIP模型将图像和文本特征...
通过将原始大规模权值张量分解成一系列小规模的张量,张量分解可以有效降低网络模型存储,提升网络计算效率。 主流的张量分解技术有:Tucker分解、CP分解、BTD 分解。 二、深度神经网络剪枝 神经网络剪枝是指将网络中不重要的连接剪掉,以达到网络加速与压缩的目的。
金融界2025年6月4日消息,国家知识产权局信息显示,迪创科技(宜兴)有限公司申请一项名为“一种解决数字孪生模型轻量化处理的方法”的专利,公开号CN120087084A,申请日期为2025年03月。 专利摘要显示,本申请提供一种解决数字孪生模型轻量化处理的方法,包括:从输入数据中筛选出与目标对象相关的关键数据,得到筛选后的数据...
从开源算法到通用大模型 能够在轻量化大模型赛道上率先起跑，自然语义的技术优势发端于一个自然语言算法开源项目——HanLP。HanLP是团队早期开发的一款面向生产环境的自然语言处理工具包，能够让计算机拥有文本理解和文本分析能力，支持语言超过100种，是AI开发的重要工具。在普通人熟悉的智能客服、舆情监测、机器翻译等...
金融界2025年5月22日消息,国家知识产权局信息显示,南方电网电力科技股份有限公司申请一项名为“一种卷积神经网络模型轻量化方法和相关装置”的专利,公开号CN120012845A,申请日期为2025年02月。 专利摘要显示,本发明公开了一种卷积神经网络模型轻量化方法和相关装置,将非恒等映射分支的每个BN层合并到前面最接近的卷积...
金融界2025年6月4日消息,国家知识产权局信息显示,迪创科技(宜兴)有限公司申请一项名为“一种解决数字孪生模型轻量化处理的方法”的专利,公开号CN120087084A,申请日期为2025年03月。 专利摘要显示,本申请提供一种解决数字孪生模型轻量化处理的方法,包括:从输入数据中筛选出与目标对象相关的关键数据,得到筛选后的数据...
金融界2025年6月4日消息,国家知识产权局信息显示,迪创科技(宜兴)有限公司申请一项名为“一种解决数字孪生模型轻量化处理的方法”的专利,公开号CN120087084A,申请日期为2025年03月。 专利摘要显示,本申请提供一种解决数字孪生模型轻量化处理的方法,包括:从输入数据中筛选出与目标对象相关的关键数据,得到筛选后的数据...
lora_alpha(缩放参数):LoRA层的输出通常会被缩放,缩放因子为lora_alpha/r,这有助于平衡学习效率和模型的收敛速度。lora_alpha的取值通常在r的2到32倍之间。target_modules(应用模块):LoRA主要应用于网络中的线性层。 可以通过打印模型的所有线性层来查看(如图4所示展示了qwen模型的所有线性层)。lora_dropout(丢失...
轻量化操作界面非常简单友好,只需一键选择处理方式、设定对应精度参数,就能启动全自动轻量化,真正实现"参数可调、效果可控"的精准优化。 第三步:全生态输出,开启高效工作流 完成轻量化处理的模型将进入"全格式适配"阶段。老子云支持一键导出glTF、3D Tiles等常用三维格式,完美适配Unity、Unreal Engine等主流开发平台。