对于 LLM 来说,第一个量是 LLM 的测试损失(或其他一些相关的性能指标,例如下游任务准确率 [7]),另一个量是我们想要 scaling 的一些设置,例如模型参数量。例如,在研究 LLM 的 scaling 属性时,我们可能会看到类似以下的陈述。 「有了足够的训练数据,验证损失的 scaling 与模型大小的函数关系应该大致上是平滑幂律...
幂律是 LLM scaling 的基本概念。简而言之，幂律描述了两个量之间的关系。对于 LLM 来说，第一个量是 LLM 的测试损失（或其他一些相关的性能指标，例如下游任务准确率 [7]），另一个量是我们想要 scaling 的一些设置，例如模型参数量。例如，在研究 LLM 的 scaling 属性时，我们可能会看到类似以下的陈述。「...
研究团队将其定义为模型的“有效参数量”与实际参数量的比值，是一种衡量 LLM（Large Language Model）训练质量的新指标。举个论文中的例子：2024年2月1日发布的MiniCPM-1-2.4B，其性能可以与2023年9月27日发布的Mistral-7B相媲美甚至更优。换句话说，4个月后，只需要使用参数量为35%的LLM，即可获得大致相当...
鉴于LLMs是在大量Web相关数据上训练的，作者假设它们已经获得了足够的知识来模拟用户行为的后果，足以作为世界模型胜任有效规划。核心设计 WebDreamer的核心，是利用LLM来实现模拟函数sim和评分函数score。下图为WebDreamer使用LLM模拟三个候选动作的结果图示，其中WebDreamer模拟每个动作的两步轨迹，选择得分最高的轨迹，并...
06891【18】Skeleton-of-thought: Large language models can do parallel decodinghttps://arxiv.org/pdf/2307.15337【19】Learning to Reason with LLMshttps://openai.com/index/learning-to-reason-with-llms/【20】Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model ...
最初的扩展法则指的是 LLMs 的预训练阶段。Kaplan 扩展法则(OpenAI,2020)建议,随着、预训练计算预算增加,应该更多地扩展模型大小而不是数据。这意味着:给定 10 倍的训练预算增加,应该将模型大小扩展 5.5 倍,数据扩展 1.8 倍。 2020 年由 OpenAI 发布的 GPT-3,很可能遵循了这些扩展法则,并且在给定其大小的情况...
最初的扩展法则指的是 LLMs 的预训练阶段。Kaplan 扩展法则(OpenAI,2020)建议,随着、预训练计算预算增加,应该更多地扩展模型大小而不是数据。这意味着:给定 10 倍的训练预算增加,应该将模型大小扩展 5.5 倍,数据扩展 1.8 倍。 2020 年由 OpenAI 发布的 GPT-3,很可能遵循了这些扩展法则,并且在给定其大小的情况...
清华研究团队提出的「能力密度」（Capability Density），定义为给定 LLM 的有效参数大小与实际参数大小的比率。有效参数大小指的是达到与目标模型同等性能所需的参考模型的参数数量。清华研究团队特别引入了参考模型（Reference Model）的概念，通过拟合参考模型在不同参数规模下的性能表现，建立起参数量与性能之间的映射...
什么是能力密度？研究团队将其定义为模型的“有效参数量”与实际参数量的比值，是一种衡量 LLM（Large Language Model）训练质量的新指标。团队首先引入了参考模型的概念，通过拟合参考模型在不同参数规模下的性能表现，建立起参数量与性能之间的映射关系。具体来说，对于一个参数量为 NM 的模型 M，如果其在下游任务...
在同一时间，MIT的研究者也发现，采用测试时训练（TTT）技术，能显著提高LLM进行逻辑推理和解决问题的能力。论文地址：https://ekinakyurek.github.io/papers/ttt.pdf Scaling Law撞墙，绝对错了 在他的新闻通讯《Import AI》中，Clark对关于AI发展已到达瓶颈的观点进行了反驳。博文地址：https://jack-clark.net/ ...