使用常用的 224x224 分辨率进行蒸馏,在 ImageNet-1K 标准验证集(val set)上取得了目前最高的60.8% Top-1 精度,远超之前所有 SOTA 方法,如TESLA(ICML’23) 的 27.9% 的精度。
[1].量子位:ImageNet这八年:李飞飞和她改变的AI世界 [2].http://www.image-net.org/about-cool-stuff(feifei li 博客下对 imagenet的使用) [3].http://image-net.org/update-sep-17-2019(imagenet 最新的改进) [4].ImageNet数据集到底长什么样子? [5].深度学习与计算机视觉(PB-13)—ImageNet数据...
最终，他们得到的学生模型在 ImageNet ILSVRC 2012 验证集上实现了 90.2%的 top-1 准确率，比之前的 SOTA 方法提升了 1.6 个百分点（此前 ImageNet 上 top-1 的 SOTA 是由谷歌提出的 EfficientNet-L2-NoisyStudent + SAM（88.6%）和 ViT（88.55%））。这个学生模型还可以泛化至 ImageNet-ReaL 测试集，...
最终,他们得到的学生模型在 ImageNet ILSVRC 2012 验证集上实现了90.2%的 top-1 准确率,比之前的 SOTA 方法提升了 1.6 个百分点(此前 ImageNet 上 top-1 的 SOTA 是由谷歌提出的 EfficientNet-L2-NoisyStudent + SAM(88.6%)和 ViT(88.55%))。这个学生模型还可以泛化至 ImageNet-ReaL 测试集,如下表 1 所...
相比于现有方法,BNext-L 在 ImageNet-1k 上首次将二值模型的性能边界推动至 80.57%,对大多数现有方法实现了 10%+ 的精度超越。 两年前,当 MeliusNet 问世时,机器之心曾发表过一篇技术文章《第一次胜过 MobileNet 的二值神经网络,-1 与 + 1 的三年艰苦跋涉》,回顾了 BNN 的发展历程。
摘要:近日,谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示,他们提出了一种新的半监督学习方法,可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%,与之前的 SOTA 相比实现了 1.6% 的性能提升。 这一成果刷新了 Quoc Le 对于 ImageNet 的看法。2016 年左右,他认为深度学习模型在 ImageNet 上的 top...
ImageNet-1K数据集的压缩实现了关键性突破，Top-1精度首次超过60%，标志着大规模数据集蒸馏的转折点。MBZUAI和CMU团队的研究成果SRe2L是首个成功处理高分辨率大规模数据集压缩的框架，它将原始的1.2M样本压缩至0.05M（压缩比20倍），并且在保持高精度的同时，显著降低了训练成本和内存需求。这一创新...
本文的可扩展方法使得学习具有良好通用性的高容量模型:例如,在仅使用ImageNet-1K数据时,ViT-Huge模型的Top-1精确度为87.8%。此外,下游任务中的迁移性能优于有监督的预训练。 ▊1. 论文和代码地址 Masked Autoencoders Are Scalable Vision Learners 论文地址:https://arxiv.org/abs/2111.06377 ...
作者通过大量实验表明,与ImageNet-1k上的其他视觉Transformer和ResNet相比,CvT实现了SOTA的性能,并且具有更少的参数和更低的FLOPs。此外,在对更大的数据集(如ImageNet-22k)进行预训练并对下游任务进行微调时,CvT可以保持性能提升。CvT-W24在ImageNet-22k上进行预训练,在ImageNet-1k val集上获得了87.7%的Top-1精度...
ViT-G/14在ImageNet上达到90.45%的top-1精度,设置新的艺术状态。在ImageNet-v2上,ViT-G/14比基于EfficientNet-L2的Noisy Student模型改进了3%。对于ReaL, ViT-G/14仅比ViT-H和BiT-L略胜一筹,这再次表明ImageNet分类任务很可能达到饱和点。对于ObjectNet来说,ViT-G/14比BiT-L表现要好很多,比Noisy Student好...