最新发布的OpenMathInstruct-2数据集为解决这一难题带来了突破性进展。 OpenMathInstruct-2是目前最大的开源数学推理数据集,包含1400万个问题-解答对,其中有60万个独特的问题。研究团队利用Llama-3.1-405B-Instruct模型生成高质量的数学指令调优数据,并通过精心设计的实验确定了影响模型性能的关键因素,如简洁的思维链格...
1、性能提升:在多个基准测试(如 DROP、WinoGrande、GSM8K、MMLU-STEM 等)上,使用 CODEI/O 和 CODEI/O++ 训练的模型表现优于单阶段基线和其他数据集(如 WebInstruct、OpenMathInstruct2 等),在几乎所有基准测试中都显示出一致的改进,而不仅仅是代码相关任务,还包括逻辑、符号、数学、科学和常识推理等任务。2、...