来自华为诺亚方舟实验室、北京邮电大学以及香港科技大学的研究者们提出了一个新的轻量模型范式TinyNet。相比于EfficientNet的复合放缩范式(compound scaling),通过TinyNet范式得到的模型在ImageNet上的精度要优于相似计算量(FLOPs)的EfficientNet模型。例如, TinyNet-A的Top1准确率为76.8% ,约为339M FLOPs,而EfficientNet...
图像分类用到了ImageNet、Food1l1、Flowers102、Cars、Cub200、Pets等;目标检测则只在Pascal VOC数据集上进行了验证。 Results on ImageNet 上表对比了NetAug与知识蒸馏在MobileNetV2-Tiny上的性能,可以看到: NetAug可以提升1.8%精度,高于KD的0.3-0.8%; NetAug与KD具有互补性,两者组合使用可以进一步去提升1.4%性能...
除了训练耗时外,NetAug还会增加训练峰值显存占用。由于我们聚焦于TinyNN训练,其峰值显存占用非常小,因此NetAug仅带来轻微的额外显存占用。 Experiments 在方案验证方面,作者主要从图像分类与目标检测上进行了验证。图像分类用到了ImageNet、Food1l1、Flowers102、Cars、Cub200、Pets等;目标检测则只在Pascal VOC数据集上进行...
通过在ImageNet-21k上的快速预训练蒸馏,具有21M参数的TinyViT在ImageNet-1k上达到了84.8%的TOP-1准确率,比预训练的Swin-B(88M参数下的85.2%)小4.2倍。在更高的分辨率下,本文的模型可以达到86.5%的TOP-1精度,在对齐设置下在ImageNet-1k上建立了新的最先进的性能。此外,TinyViT模型在下游任务上表现出了良好的...
为了在0.5C0 FLOPs这个计算量限制附近进行搜索,我们随机地改变分辨率和模型深度,并调整模型宽度w=,使新产生的模型有约0.5C0 FLOPs的计算量,这些随机搜索的模型在ImageNet-100数据集上训练了的100个epochs,训练结果如图2所示。 图2:在200M FLOPs的约束下,调整模型三维(图片分辨率,模型深度和宽度)对精度的影响 我们...