过去多年时间里，Scaling Law 一直指引着 AI 研究前进的方向。事实上，像 OpenAI 这样的早期前沿实验室的成功甚至可以归功于他们对 Scaling Law 的虔诚信仰。然而，最近有报道称，顶级研究实验室正在努力训练下一代更好的 LLM。这些说法可能会让我们怀疑：scaling 之路会撞墙吗？如果会，还有其他前进的道路吗？本文将...
这就是 Scaling Law 的用武之地。到目前为止,我们已经看到了一些实证分析,这些分析是为了证明 Scaling Law 的存在而进行的,但这些 Scaling Law 在 AI 研究中也有非常实际的用例。特别是,我们可以: 使用各种训练设置训练一堆较小的模型。 根据较小模型的性能拟合 Scaling Law。 使用Scaling Law 推断更大模型的性能。
这就是 Scaling Law 的用武之地。到目前为止,我们已经看到了一些实证分析,这些分析是为了证明 Scaling Law 的存在而进行的,但这些 Scaling Law 在 AI 研究中也有非常实际的用例。特别是,我们可以: 使用各种训练设置训练一堆较小的模型。 根据较小模型的性能拟合 Scaling Law。 使用Scaling Law 推断更大模型的性能。
就训练来说，「精度感知」scaling law能够预测不同部分采用不同精度的模型的损失。在某些情况下，用低精度训练LLM可能更有效率。论文中，作者统一了训练后和预训练量化的scaling law，建立了一个完整的理论框架。这个单一函数形式可以预测在不同精度下进行训练和推理时的性能降级。基于465次以上的预训练实验，在最大1...
什么？Scaling Law最早是百度2017年提的？！Meta研究员翻出经典论文：大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。此研究由吴恩达主持，来自百度硅谷人工智能实验室 (SVAIL) 系统团队。他们探讨了深度学习中训练集大小、计算规模和模型精度之间的关系，并且通过大规模实证...
智谱AI CEO张鹏：Scaling Law未来相当一段时间之内仍会有效，但“有效”是动态概念。北京智谱华章科技有限公司（简称智谱AI） CEO张鹏表示，Scaling Law还在有效地向前推进，目前为止还未看到Scaling Law失效的预兆。“至于它是否能够帮助我们到达顶峰，现在找不到一个确切答案，但现阶段它是有效的，未来相当一段时间之内...
4、怎么用Scaling Laws 5、引用 1、什么是scaling laws? Scaling Laws简单介绍就是:随着模型大小、数据集大小和用于训练的计算浮点数的增加,模型的性能会提高。并且为了获得最佳性能,所有三个因素必须同时放大。当不受其他两个因素的制约时,模型性能与每个单独的因素都有幂律关系[1]。 2、Scaling Laws重要吗? 由于...
Scaling Law并非描述大模型能力的唯一视角！清华NLP实验室刘知远教授团队，最新提出大模型的密度定律（densing law），表达形式让人想到芯片领域的摩尔定律：模型能力密度随时间呈指数级增长，2023年以来能力密度约每3.3个月（约100天）翻一倍。根据密度定律，研究团队还得出以下重要推论——AI时代的三大核心引擎——电力...
Scaling Law揭示了一个核心规律:当模型参数量(N)、训练数据量(D)和训练计算量(C)按比例同步扩大时,模型在特定任务上的性能(如损失函数值、准确率)会持续提升,且这种提升遵循幂律关系(Power Law)。这一现象表明,规模扩大是提升模型能力的有效路径,但需满足三者的均衡匹配。例如,参数...