文本匹配——【ICLR 2022】Trans-Encoder 自然语言处理和信息检索中的许多任务都涉及句子的成对比较——例如,句子相似性检测、释义识别、问答蕴涵和文本蕴涵。 最准确的句子比较方法是所谓的cross-encoding,它在逐对的基础上将句子相互映射。然而,训练cross-encoders 器需要带标注的训练数据,收集这些数据是劳动成本很高。
这个仓库受到ICLR2021-OpenReviewData数据分析的启发，通过数据对比可以发现，ICLR 2021的前两名依然是深度学习和强化学习，只不过位置发生了变换，三四名也是图神经网络和表示学习，位次也发生了转换。在ICLR 2021 中比较火热的元学习（meta learning），过了一年后热度也有了明显的下降。在ICLR 2021 的所有论文中，平均...
本文是ICLR 2022 outstanding paper: Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models 的笔记,主要推导了diffusion probabilistic models (DPM) 反向均值和方差的解析估计。个人的推导方式和原论文的略有不同,且参考了苏剑林大佬的符号(生成扩散模型漫谈(一):DDPM ...
1.基于探测的防御(Xu et al,2021;Zeng et al,2011;Xiang et al,2022)检查可疑的模型或样本是否受到攻击,它将拒绝使用恶意对象。 2.基于预处理的防御(Doan et al,2020;Li et al,2021;Zeng et al,2021)旨在破坏攻击样本中包含的触发模式,通过在将图像输入模型之前引入预处理模块来防止后门激活。 3.基于模型...
今日，ICLR2022在官网上公布了杰出论文奖评选结果，共有7篇论文获奖，国内上榜高校包括清华大学、中国人民大学、浙江大学、重庆大学，国外上榜高校和机构有谷歌研究院、安特卫普大学、斯坦福大学、康奈尔大学、多伦多大学、DeepMind等。今年ICLR共有3391篇投稿，接收1095篇，接收率为32.3%，其中包括54篇论文被接收为Oral，...
(ICLR'2022) 1. 简介: Graph attention networks(GAT) 是GNN模型中一种非常有代表性的架构,在GAT中,每个节点都只关心自己的邻居(自身节点表征作为query,邻居节点作为keys),然而在这篇论文中,作者发现GAT的attention计算比较有局限性的:attention评分的排序不受query node的限制,不论query node怎么变,得到的attention...
1. 主要创新 《UniNet: Unified Architecture Search with Convolution, Transformer, and MLP》是ICLR2022的一篇投稿论文,目前还没出结果。这里总结一下该工作的主要创新和贡献点: UniNet是第一个将卷积,Transfo
ICLR 2022：AI如何识别“没见过的东西”？行早 发自 凹非寺量子位 | 公众号 QbitAI 这回域外物体检测方向出了一个新模型VOS，合作团队来自威斯康星大学麦迪逊分校，论文已收录到ICLR 2022中。这一模型在目标检测和图像分类上均达到目前最佳性能，FPR95指标比之前最好的效果还降低了7.87%之多。要知道深度网络对...
为了应对这一挑战,我们提出了自适应傅立叶神经算子(AFNO)作为一种有效的令牌混合器,它可以在傅立叶域学习混合。 AFNO是基于算子学习的一个基元,它允许我们将令牌混合看做一个连续的全局卷积,而不依赖于输入分辨率。 这一原理以前被用于设计FNO,它在傅立叶域有效地解决了全局卷积,并在学习具有挑战性的偏微分方程方面...
参考文献 CrossFormer: A Versatile Vision Transformer Hinging on Cross-scale Attention cheerss/CrossFormer ICLR 2022 | 浙大和腾讯开源CrossFormer:基于跨尺度注意力的视觉Transformer关于AI Studio AI Studio是基于百度深度学习平台飞桨的人工智能学习与实训社区,提供在线编程环境、免费GPU算力、海量开源算法和开放数据,...