【新智元导读】来自谷歌、OpenAI和华沙大学的一个团队提出了一种新的用于语言建模的高效Transformer架构Hourglass,在ImageNet32上达到新的SOTA,证明拥有一个明确的分层结构是Transformer能有效处理长序列的关键。Hourglass在给定相同计算量和存储量的情况下,可以产生比Transformer更好的结果。 Transformer模型在很多不同的领域都...
https://gist.github.com/FlorianMuellerklein/3d9ba175038a3f2e7de3794fa303f1ee Paper: A Downsampled Variant of ImageNet as an Alternative to the CIFAR datasets Webpage: https://patrykchrabaszcz.github.io/Imagenet32/ Dataset: http://image-net.org/download-images...
ImageNet 数据集概述: ImageNet 数据集包含超过 1400 万张标注的图像。 其中用于训练的图像数量超过 120 万张。 ImageNet 常用子集: 常用的子集是 ISLVRC2012 比赛用的子数据集,其中训练集(train)有 1,281,167 张照片和标签,共 1000 类,大概每类 1300 张图片。 验证集和测试集: 验证集(val)有 50,...
【新智元导读】来自谷歌、OpenAI和华沙大学的一个团队提出了一种新的用于语言建模的高效Transformer架构Hourglass,在ImageNet32上达到新的SOTA,证明拥有一个明确的分层结构是Transformer能有效处理长序列的关键。Hourglass在给定相同计算量和存储量的情况下,可以产生比Transformer更好的结果。 Transformer模型在很多不同的领域都...
PyTorch repository for ICLR 2022 paper (GSAM) which improves generalization (e.g. +3.8% top-1 accuracy on ImageNet with ViT-B/32) - juntang-zhuang/GSAM
Contrast, Color, Brightness, Sharpness,Cutout, Sample Pairing,结合各种预处理的幅度和概率,生成2.9×10^32搜索空间。结合Google自家的RL NAS方式和不差钱的GPU群,硬生生的基于ResNet/AmoebaNet backbone在ImageNet再攀高峰。训练细节已不在重要,也很难有GPU群复现,Google脑洞大开不怕浪费的做法,持续引领NAS领域。