Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models, CVPR, 2023. 一、简介 经典的小样本基准测试使用来自单一模态的少样本,但此类样本可能不足以表征整个概念类。相比之下,人类利用跨模式信息来有效地学习新概念。而且最近的多模态基础模型(例如 CLIP)本质上是跨模态的,将不同的...
一、研究动机 小样本学习(Few-shot learning)是机器学习领域的一个重要方向,然而基于深度学习的识别算法仍然无法达到人类甚至婴儿在此类任务上的性能。我们认为这一现象主要是因为现阶段的小样本学习任务往往只考虑单一模态的训练样本,例如只用少量图像来训练一个分类器。然而,大量神经科学的研究1 2指出人脑在学习新概念...
Semantic Prompt for Few-Shot Learning 作者:陈文弢,司晨阳,张彰,王亮,王子磊,谭铁牛 小样本学习是一个非常有挑战性的任务,因为它要求只使用少量几个示例样本学习一个全新的类别。近期的一些研究工作尝试使用语义信息来增强小样本分类器的鲁棒性,但仍存在小样本图像...
我进一步review了去年的工作,突然意识到一个问题: 其实大家不太能接受Optimal Transport (OT)那一套在transductive few shot learning上直接用。原因很简单,因为实验的setting其实是有一个uniform class prior. 具体来说就是每个类的测试集+训练集是相等的。OT这一套其实巧妙地利用了这个trick使得但凡基于OT的方法效果...
GAZE 2023: The 5th International Workshop on Gaze Estimation and Prediction in the Wild 网址:https://gazeworkshop.github.io/2023/ 主旨:探讨Gaze Estimation(凝视估计)和 Prediction(预测)在自然场景中的最新研究成果、技术进展和应用案例。应用方向如在虚拟现实、人机交互、智能监控等领域。内容包括基于深度学...
[1]StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fieldspaper:https://arxiv.org/abs/2303.10598 [2]Fix the Noise: Disentangling Source Feature for Transfer Learning of StyleGANpaper:https://arxiv.org/abs/2204.14079code:https://github.com/LeeDongYeun/FixNoise ...
7. Meta Style Adversarial Training for Cross-Domain Few-Shot Learning 论文作者:Yuqian Fu, Yu Xie, Yanwei Fu, Yu-Gang Jiang 研究团队受到对抗攻击的启发,创新性地提出了一个元学习风格攻击算法,并基于该攻击算法提出了一个与模型无关的风格对抗训练跨域小样本学习方法StyleAdv。通过不断迭代进行风格攻击与模...
2. Prophet 不仅是 GPT-3 等 LLM 可以迁移到多种下游任务并取得优良性能的又一例证,更拓展了原本基于 few-shot in-context learning 的迁移范式,引出了一个新的范式,“小模型+LLM”。用任务相关的小模型作为 LLM 适配下游任务的适配器(Adapter),将增强 LLM 的通用性和针对性。我们相信 Prophet 的思路将启发...
网址:https://vizwiz.org/workshops/2023-workshop/ 主旨:聚焦answer visual questions,ground answers,detect salient objects, 和recognize objects in few-shot learning scenarios四个任务,将这些算法和技术应用于现实世界中,以帮助视觉障碍者更好地理解和使用...
2. Prophet 不仅是 GPT-3 等 LLM 可以迁移到多种下游任务并取得优良性能的又一例证,更拓展了原本基于 few-shot in-context learning 的迁移范式,引出了一个新的范式,“小模型+LLM”。用任务相关的小模型作为 LLM 适配下游任务的适配器(Adapter),将增强 LLM 的通用性和针对性。我们相信 Prophet 的思路将启发...