实验表明,SPPO 仅使用了来自 UltraFeedback 数据集的 60k 个提示(不含回复),并且没有进行任何提示增强,通过利用仅有 0.4B 个参数的预训练偏好模型 PairRM,可以从微调 Mistral-7B-Instruct-v0.2 中获得一个模型,该模型在 AlpacaEval 2.0 上与 GPT-4-Turbo 相比达到了长度控制胜率 SOTA(28.53%)。它在 MT-Be...