Open-VCLIP++:更强的开放词汇视频CLIP模型 Open-VCLIP++:一个简单而有效的框架,可以将CLIP转换为开放词汇视频模型,比如适应强大的零样本视频分类器,能够在测试期间识别新的动作和事件,在零样本视频动作识别上性能表现出色,代码已开源! 点击关注@CVer官方知乎账号,可以第一时间看到最优质、最前沿的CV、AI工作~ Buildin...
实验遵循了在Kinetics-400数据集上训练模型,并在MSR-VTT数据集上测试的范式。结果展示了Open-VCLIP方法提升了模型的视频检索文本的性能和文本检索视频的性能,且在视频检索文本任务上,Open-VCLIP方法明显高于CLIP基线,进一步验证了本文方法有效性。 总结 本篇工作提出了Open-VCLIP方法,通过微调于视频识别数据集有效将CLIP...
Open-VCLIP++：一个简单而有效的框架，可以将CLIP转换为开放词汇视频模型，比如适应强大的零样本视频分类器，能够在测试期间识别新的动作和事件，在零样本视频动作识别上性能表现出色，代码已开源！尽管对比语言图像预训练（CLIP）在零样本图像识别方面取得了显著的成果，但在探索其零样本视频识别潜力方面所做...