本文作者:杨镐,中国人民大学高瓴人工智能学院博士生。 因果效应估计的目标是评估不同治疗措施对群体或个体产生的因果影响。本文整理了发表在ICML 2024会议上的12篇相关学术论文,供大家交流与参考。[1] StableMa…
基于大语言模型(LLMs)的智能体是大语言模型的研究热点之一。它们在模拟人类语言处理能力、执行复杂任务以及与环境互动方面展现出巨大潜力。本文汇总了ICML'24中录用的17篇与大语言模型智能体相关的论文,供读者参考。 Should we be going MAD? A Look at Multi-Ag...
如果已知下游任务,也可以针对性设计influence functions, datamodels或者寻找与目标分布相近的数据。 - 题外话,近期NeurIPS’24也有一些基于RHOLoss的LLM数据选择策略,包括CoLoR-Filter [1] 和Rho-1 [2],后者获评Best Paper Runner-up。 [1] Conditional Loss Reduction Filtering for Targeted Language Model Pre-tra...
研究了激活属性在预训练过程中的变化,发现Transformer在大多数预训练过程中表现出稀疏激活,同时激活相关性随着训练的进行而不断演变。 提出了可切换的稀疏-密集学习(Switchable Sparse-Dense Learning,SSD),在预训练过程中自适应地在基于专家混合(Mixtures-of-Experts, MoE)稀疏训练和传统的密集训练之间切换,充分利用稀疏...
ICML'24开源 迈向真实世界!LEO:3D世界中的具身通才Agent 3D视觉工坊 935 0 XBG:ergoCub人形机器人自主交互行为的端到端模仿学习|2024【IIT】 机器人科学与技术 1690 1 2024年世界人工智能大会(WAIC)之人形机器人展台合集 alekxrui 1337 0 CVPR'24开源 MASA万能匹配一切、跟踪一切! 3D视觉工坊 3102 0 ECC...
我们对LEO在各种3D任务上进行了定量评估和消融,结果表明:(i)通过使用统一模型进行任务无关指令微调,LEO在大多数任务上取得了最先进的性能,特别是超过了先前的特定任务模型;(ii)LEO在场景基础对话和规划方面表现出熟练的能力,能够生成灵活而连贯的响应;(iii)LEO在导航和操作任务上的表现与最先进的特定任务模型相当,并...
ICML'24投稿截止日期为2024年2月1日（世界任何地方），全会议论文的截稿日期为同日。除了全会议论文外，新增设了Position Paper赛道，旨在讨论对某个问题有争议的观点，并鼓励听众审视并理解这些观点的有效性。此轨道与主会议轨道的接受率预计相近。此外，CCF推荐的人工智能会议列表中包括ACL、ICML、IJCAI、...
研究发现，它可以自发模拟一些概念，方便理解。这项研究意味着，大模型未来有希望更深入理解语言和世界，论文已被顶会ICML 24接收。这篇论文的作者是MIT计算机与人工智能实验室（CSAIL）华裔博士生Charles Jin和他的导师Martin Rinard教授。研究当中，作者让大模型只学习代码文本，结果发现模型逐渐掌握了其背后的含义。Ri...
▲图1:如左图所示,将整幅图像与详细的文字描述对齐会降低缩放余弦相似度。将文字描述与特定的图像部分(如右图中详细的红色区域)对齐则会提高得分。©️【深蓝AI】编译 论文首先指出,使用预训练的视觉-语言模型(如CLIP)将整个查询图像与由大型...