知识蒸馏的特征是有一个教师模型在向学生模型迁移知识,是与剪枝不同的模型压缩手段之一。知识蒸馏也可以...
前两者目的提高模型泛化能力,知识蒸馏是压缩模型的。联系没找到
2020),在初始化时识别原始密集模型的稀疏掩码,然后仅从头开始训练稀疏子网络,例如彩票假设 (LTH) (Fr...