【精读】ICLR 2021, Implicit gradient regularization Adam 局外人(Outlier) 12 人赞同了该文章 paper: arxiv.org/pdf/2009.1116 authors: David G.T. Barrett, Benoit Dherin Affiliations: DeepMind, London; Google, Dublin. 简述:这篇文章通过Backward error analysis的方式构造一个modifed loss function,他...
本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果。 Contrastive Learning with Adversarial Perturbations for Conditional Text Generation 任务:端...
本文主要介绍一篇被 ICLR 2021 会议录用的一篇论文:《Zero-shot Synthesis with Group-Supervised Learning》。 这项工作受启发于人脑的想象能力,比如人看到一辆红色的轿车&一辆蓝色的卡车,可以立即想象出一辆蓝色的轿车(即使没有见过)。 本文提出了一种区分于现有learning paradigm新的训练范式:组监督学习 (Group-Superv...
之后Sergey Ivanov似乎在讽刺道：双盲评审有多盲？对NeurIPS 2020来说，在9298份提交的论文中，已有2313篇论文发在arXiv上，占所有提交论文的25％。相比之下，ICLR 2021有557篇论文发在arXiv上，占所有提交论文的25％。最后Sergey Ivanov公布了目前为止基于ArXiv统计的ICLR 2021个人投稿排行榜：2 一篇论文引起NLP/CV...
ICLR 2021杰出论文公布：清华、上财校友一作获奖 机器之心报道 作者：维度、陈萍、小舟 ICLR 2021 距正式召开还有一个月的时间，今日公布了八篇杰出论文，主题涵盖复杂查询应答、图网络网格模拟以及基于随机微分方程的分数生成式建模等。此外，这八篇杰出论文中也有多位华人学者的参与。机器学习顶会 ICLR 2021 将于...
推荐：本文为 ICLR 2021 杰出论文之一，一作 Aston Zhang 为《动手学深度学习》的作者之一，博士毕业于 UIUC，现为亚马逊高级科学家。 论文 5：Learning Mesh-Based Simulation with Graph Networks 作者：Tobias Pfaff、Meire Fortunato、Alvaro Sanchez-Gonzalez 等 论文链接：https://openreview.net/pdf?id=roNqYL0...
ICLR 2021杰出论文奖，主要从四个方向来考察论文质量：技术质量、影响潜力、是否提出新方向、以及是否解决了重要问题。今年负责评奖的委员会，成员分别来自Facebook、DeepMind、德州奥斯汀分校、斯坦福大学、微软等各高校和机构。值得一提的是，虽然ICLR表示：评分最高的论文也入选了此次奖项。然而，在这8篇论文中，却并...
基于这个想法，Google 和 X 团队共同在ICRA2021上发表了一篇论文《SimGAN: 混合模拟器识别领域适应通过对抗性的强化学习》，文中提出把物理模拟器作为一个可学的组件，由 DRL 训练具有特殊的奖励功能，惩罚在模拟中产生的轨迹(即，随着时间的推移机器人的运动)，少量轨迹之间的差异，收集真实的机器人运动轨迹。本文...
ICLR 2021 距正式召开还有一个月的时间,今日公布了八篇杰出论文,主题涵盖复杂查询应答、图网络网格模拟以及基于随机微分方程的分数生成式建模等。此外,这八篇杰出论文中也有多位华人学者的参与。 机器学习顶会 ICLR 2021 将于当地时间 5 月 3 日至 7 日线上举行。1 月份,ICLR 2021 放出了本届会议的论文接收...
ICLR 2021 有什么值得关注的投稿？微软亚洲研究院推荐五篇论文，研究主题关键词包括语音合成、代码智能、...