原文链接:arXiv2024-LLM_survey.pdf Abstract:本文摘要概述了大型语言模型(LLMs)因其在多种自然语言处理任务上的卓越性能而受到广泛关注,特别是自2022年11月ChatGPT发布以来。LLMs通过在大量文本数据上训练数十亿个模型参数,获得了通用语言理解和生成的能力,这一点由scaling laws所预测。尽管LLMs的研究领域非常新,但...
Intra-memory conflict(蓝色):pretraining data1: 意大利 ,pretraining data2: 巴西 整个survey的逻辑如下图所示: 导致conflict的原因 (cause)=> 分析LLM在conflict下的行为(behavior) => 哪些解决方法(solution) Context-Memory Conflict 原因 LLM内的knowledge是错的,retrieval来的是对的(pretraining data信息过时)...
这种全面的阶段覆盖确保了对LLMs和Agents的全方位理解。 3. 最新研究:相比于2023年、2024年和2025年的其他研究,本篇survey在所有关键阶段都提供了深入的见解和分析,确保读者获得最新和最全面的信息。 4. 多模态支持:本篇survey不仅支持单模态,还支持多模态的LLM和Agent,反映了当前技术发展的趋势和需求。 通过这些...
论文一作表示:「我们关于科学大语言模型的 75 页调查,特别关注生物和化学领域。我们总结了文本、分子、蛋白质和基因组 LLM 的最新进展,更有趣的是,它们的比对。」 该综述以「Scientific Large Language Models: A Survey on Biological & Chemical Domains」为题,于 2024 年 1 月 26 日发布在预印平台 arXiv上。
论文标题:A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More 论文地址:https://arxiv.org/pdf/2407.16216 这篇论文分为四大主题:奖励模型、反馈、强化学习(RL)、优化。每个主题又包含进一步的子主题,如图 1 所...
junzhuang-code/LLMSurveySummaryPublic NotificationsYou must be signed in to change notification settings Fork3 Star40 Code Issues 1Branch0Tags Latest commit junzhuang-code Update README.md Feb 6, 2024 137843f·Feb 6, 2024 History 19 Commits ...
考虑到推测解码领域2023年以来飞速的研究进展,我们撰写了一篇系统性的survey,给出推测解码的统一定义和通用算法,详细介绍了推测解码研究思路的演化,并对目前已有的研究工作进行了分类梳理。在下文中,我们将文章内容凝练为太长不看版——分享一些关于推测解码关键要素的看法,以及目前常用的研究思路,欢迎感兴趣的小伙伴一...
5.《综述:全新大语言模型驱动的 Agent》——4.5 万字详细解读复旦 NLP 和米哈游最新 Agent Surveyhttps://zhuanlan.zhihu.com/p/656676717 6.斯坦福的「虚拟小镇」开源了:25 个 AI 智能体照进《西部世界》https://cloud.tencent.com/developer/article/2325908 ...
谷歌ICLR 2024力作:让大语言模型学会「图的语言」 编辑:Mindy 【新智元导读】图是组织信息的一种有用方式,但LLMs主要是在常规文本上训练的。谷歌团队找到一种将图转换为LLMs可以理解的格式的方法,显著提高LLMs在图形问题上超过60%的准确性。 在计算机科学领域,图形结构由节点(代表实体)和边(表示实体之间的关系)...
A Survey on Large Language Model based Autonomous Agents 这篇论文是关于基于大型语言模型的自主智能体的研究概述。之前的研究往往集中在有限知识下在孤立环境中训练智能体,这与人类的学习过程相去甚远,因此使得智能体难以实现类人的决策...