以CLIP为代表的视觉语言大模型(VLMs)在zero-shot识别等领域表现出了优异的性能,这改变了很多下游任务的学习范式,研究者们纷纷尝试如何将VLMs集成到现有的框架中来提高下游性能。虽然CLIP在ImageNet等代表性数据集达到了较高的准确率,但是其不可避免的出现了长尾数据识别较差的现象。例如对于“night snake”等十多个...
为了解决这一问题,本文作者提出了一种简单有效的检索增强框架(REtrieval-Augmented Learning,REAL),REAL通过使用预训练文本中最常见的同义词来进行提示,可以显著提升模型的zero-shot性能,同时大幅减少存储占用和训练时间。 论文题目: The Neglected Tails of Vision-Language Models 论文链接: https://arxiv.org/abs/24...
The SBIR techniques utilize an architecture comprising three interconnected neural networks to enable zero-shot image recognition and retrieval based on free-hand sketches. Zero-shot learning may be implemented to retrieve one or more images corresponding to the sketches without prior training on all ...
结合GAN的零次学习(zero-shot learning) 草图以及 204k 张正常图片(共110类). 适合用于做zero-shot的图像检索,zero-shotsketch-basedimageretrieval(ZS-SBIR).该草图...众所周知,深度学习的崛起依赖于大量的训练样本;监督式学习已经在各项任务上取得了极好的效果。 但有一点和我们人的“智能”不一样的是,一个...
另外,数据集的构造方式可能会影响对稀疏检索模型和稠密检索模型的zero-shot泛化能力的对比。我们认为,稠密检索模型的zero-shot泛化能力仍有提升空间,并且值得进一步地深入研究。 参考文献: [1] Ren et al. 2021. Rocketqav2: A joint training method for dense passage retrieval and passage re-ranking. In ...
Extreme Meta-Classification for Large-Scale Zero-Shot Retrieval Sachin Yadav, Deepak Saini, Anirudh Buvanesh, Bhawna Paliwal, Kunal Dahiya, Siddarth Asokan, Yashoteja Prabhu, Jian Jiao, Manik Varma KDD 2024|August 2024 Publication|Publication
稠密检索模型在zero-shot场景下的泛化能力 引言 随着预训练语言模型在自然语言处理领域的蓬勃发展,基于预训练语言模型的稠密检索(dense retrieval)近年来也变成了主流的一阶段检索(召回)技术,在学术界和工业界均已经得到了广泛的研究。与传统的基于字面匹配的稀疏检索(sparse retrieval)模型相比,稠密检索模型通过学习低维...
Artif i cial Intelligence and Vision Technologies (SAIVT)Queensland University of Technology, AustraliaAbstractRecently, Zero-shot Sketch-based Image Retrieval (ZS-SBIR) has attracted the attention of the computervision community due to it’s real-world applications, and the more realistic and challeng...
在更改不同指令语言模型和使用微调编码器的情况下,所有模型都改进了无监督的Contriever,较大的模型带来了较大的改进。 使用微调编码器的HyDE对微调检索器的整体性能产生了负面影响,但性能下降仍然很小。 InstructGPT模型能够进一步提高性能,特别是在DL19上。
Dominant pre-training work for video-text retrieval mainly adopt the "dual-encoder" architectures to enable efficient retrieval, where two separate encoder... Y Ge,Y Ge,X Liu,... 被引量: 0发表: 2022年 Phase retrieval with physics informed zero-shot learning Phase can be reliably estimated ...