以下是一个简单的使用PyTorch实现的知识蒸馏的代码示例: ```python import torch import as nn import as optim 定义教师模型和学生模型 class TeacherModel(): def __init__(self): super(TeacherModel, self).__init__() = (100, 10) def forward(self, x): return (x) class StudentModel(): def...
进行代码大模型相关的训练,参考指标为Humaneval。 通过实验可观察到student模型训练后的好坏强依赖teacher模型。 首先直接进行知识蒸馏,效果不是很理想,考虑到可能的原因是是teacher model能力并没有太强。 故在数据集上对teacher model进行SFT,然后使用相同数据进行知识蒸馏,结果显示Student模型的到了明显的提升。