尽管在奖励曲线上看到了些许提升,但最终未能在整体表现上取得显著进步。 推理加速与模型合并:在推理加速方面,通过静态 KV 缓存与 torch 编译,可以在 H100 GPU 上将生成速度提升 2-3 倍,但在 Kaggle T4 环境中遇到了各种兼容性问题。团队还实验了多种模型合并技术(如 DARE、TIES 和 WARP),使用 mergekit 工具将 ...
AIMO竞赛:数学新挑战! 数学,被誉为解决一切复杂问题的魔法钥匙,无论是在科技创新还是金融领域,都发挥着至关重要的作用。然而,当前AI在数学领域的应用尚有不足。为了弥补这一差距,Kaggle推出了AI数学奥林匹克(AIMO)竞赛,旨在开发出能与国际数学奥林匹克(IMO)高手媲美的AI模型。 这场竞赛汇集了110个中等高中数学挑战...
首个进步奖是以Kaggle 竞赛https://www.kaggle.com/competitions/ai-mathematical-olympiad-prize的形式举行的，其题目比 IMO 中的题目 简单一些 ，相当于 IMO 预选赛的水平。下面，我们给出了一个例题，可以看到，它比上面的 IMO 题目容易一些，但对 LLM 来说仍然很棘手:赛题分为两组，每组 50 题，分别作为...
后来,我们意识到 MMOS 是一个误称,该 Kaggle 笔记本实际上使用的是DeepSeekMath 7B RL模型,也就是说它能够进行多步推理及代码执行。 经此一役,我们想集中精力生成一个与 DeepSeekMath Instruct/RL 模型使用的数据集类似的数据集,这一做法与 MuMath-Code 攻略结合后,带来了显著的改进。 下面,一起来看看我们是...
人工智能数学奥林匹克(AIMO)竞赛:人工智能数学奥林匹克(AIMO)提供100万美元奖金,吸引了包括Jia Li、Yann Fleuret和Hlne Evain在内的知名AI和数学专家参与。他们的团队Numina与Hugging Face合作,使用GPT-4的链式思维(CoT)数据和代码执行数据训练模型,在Kaggle排行榜上取得了顶尖表现。更多详情请见来源。
后来,我们意识到 MMOS 是一个误称,该 Kaggle 笔记本实际上使用的是DeepSeekMath 7B RL模型,也就是说它能够进行多步推理及代码执行。 经此一役,我们想集中精力生成一个与 DeepSeekMath Instruct/RL 模型使用的数据集类似的数据集,这一做法与 MuMath-Code 攻略结合后,带来了显著的改进。 下面,一起来看看我们是...
将模型上传到 Kaggle Hub 非常慢,压缩模型使上传速度提高了一倍。 T4 GPU 不支持 bfloat16,转换为 float16 会导致模型性能下降。又没法转换为 float32,因为超出了 GPU 可用内存。 此外,16 位模型仅用于加载权重就需消耗约 32GB VRAM。对于 2xT4,需要使能 KV 缓存才能快速运行,我们发现在模型精度和速度之间进行...
后来,我们意识到 MMOS 是一个误称,该 Kaggle 笔记本实际上使用的是 DeepSeekMath 7B RL 模型,也就是说它能够进行多步推理及代码执行。 经此一役,我们想集中精力生成一个与 DeepSeekMath Instruct/RL 模型使用的数据集类似的数据集,这一做法与 MuMath-Code 攻略结合后,带来了显著的改进。 下面...
后来,我们意识到 MMOS 是一个误称,该 Kaggle 笔记本实际上使用的是 DeepSeekMath 7B RL 模型,也就是说它能够进行多步推理及代码执行。 经此一役,我们想集中精力生成一个与 DeepSeekMath Instruct/RL 模型使用的数据集类似的数据集,这一做法与 MuMath-Code 攻略结合后,带来了显著的改进。 下...
Kaggle 是世界上最大的AI&ML社区之一。在这里你可以和超过 1400 万机器学习爱好者,分享以及了解最新的 ML 技术和技术。随时使用由社区发布的ML模型、数据和代码。赛题详情:①【金融量化&数据挖掘】Jane Street-市场数据预测竞赛25年1月7日截止报名 7月13日出成绩②【生物医学&数据挖掘 】CIBMTR-造血千细胞移植后...