Scaling Laws for Data Poisoning in LLMsO网页链接本文研究了大型语言模型(LLMs)在数据中毒攻击下的表现。研究发现,LLMs容易受到数据中毒的影响,这种攻击通过让模型在部分受损或有害的数据上进行训练来实现。中毒数据难以检测,能够绕过安全限制,导致不可预见且有危害的行为。考虑到领先实验室正在努力训练和部署越来越...
或许，LLM 发展将会经历一场由“规模至上”到“密度至上”的范式转变。在关于这项研究的报告中，团队提到，AI 时代的三大核心引擎——电力、算力与智力，其密度都在快速增长：电池能量密度在过去 20 年中增长了 4 倍，其倍增周期约为 10 年；摩尔定律则揭示，芯片的晶体管密度每 18 个月翻倍；而 AI 模型能力密...
Scaling laws for dense retrieval[C]//Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2024: 1339-1349. [3] Pi Q, Zhou G, Zhang Y, et al. Search-based user interest modeling with lifelong sequential behavior data for click-through...
(1). Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., ... & Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361. 出自OpenAI团队,核心结论如下: L(N)=(NcN)αN,αN∼0.076,Nc∼8.8×1013L(D)=(DcD)α...
LLMs:《Scaling Laws for Precision精度感知的缩放定律》翻译与解读 导读:这篇论文研究了低精度训练和推理对大型语言模型(LLM)的影响。通过大量的实验,建立了精度感知型缩放定律,为低精度训练和推理提供了理论指导,并指出了现有实践中的一些潜在问题,例如盲目追求极低精度训练和过度训练带来的负面影响。 论文的贡献在于...
视觉自回归模型的Scaling,往往不像在语言模型里那样有效。 谷歌&MIT何恺明团队联手,有望打破这一局面,为自回归文生图模型的扩展指出一个方向: 基于连续token的模型比离散token模型在视觉质量上更好。 随机顺序生成与光栅顺序相比在GenEval测试...
01Scaling “laws” 经常被误解 02这种趋势预测是毫无根据的猜测 03合成数据并非万能钥匙 04模型越来越小,但训练时间却越来越长 05The ladder of generality 06扩展阅读 到目前为止,LLMs 其规模不断增加,其性能表现也日益增强。然而,这是否意味着我们可以据此预测人工智能的未来发展趋势呢?
Jason Wei 从扩展(scaling)的定义谈起,介绍了 LLM 的扩展范式从规模扩展到以思维链和强化学习为代表的推理扩展的转变。真可谓内容丰富、干货满满! 近日,Naik 教授在自己的 YouTube 频道放出了 Jason Wei 的演讲视频和幻灯片。机器之心整...
We showed that Bayesian assumptions naturally lead to a scaling law for ICL, and that Bayesian scaling laws are a great fit for both ICL behaviour by small LMs trained on controlled synthetic data, as well as LLMs trained on natural language. Using a Bayesian formulation gave us interpretable...
(LLMs) can scale their training data by learning to explore with rewards. However, prior published work has not produced competitive results. In light of this, we report on the training practice of Kimi k1.5, our latest multi-modal LLM trained with RL, including its RL training techniques,...