ICL:不参与训练,无需考虑训练效率。 微调:训练效率与模型大小相关,较大模型的微调效率较低,小模型的微调效率较高。 增量预训练:由于需要海量数据训练,效率非常低。 2.4 灵活度 ICL:提供若干样本即可,灵活度极高。 微调:需要训练,灵活度相对较低。 增量预训练:灵活度最低,需要大量数据和训练时间。
MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型,实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 - jiangtann/MedicalGPT
MedicalGPT: Training Your Own Medical GPT Model with ChatGPT Training Pipeline. 训练医疗大模型,实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)。 - anthonyyuan/MedicalGPT