为了让网络搜索更高效,论文提出block-wise网络生成方法BlockQNN,整体的思想跟同期的NasNet十分类似,不同点在于这篇论文是基于Q-learning进行学习的,可以认为是MetaQNN的block版。BlockQNN以block为单位进行搜索,每个block包含多层,然后再将block按预设的框架堆叠成完整的网络,这样不仅能提高搜索的效
通过设计block结构,可以让网络结构的搜索空间大大减小,并且block结构本身具有强大的泛化性,针对不同的数据集或者任务,只需要叠加不同个数的block即可完成(如图二所示)。 图二: 基于Block设计的网络整体框架 左边为针对CIFAR的框架,右边针对ImageNet 表一: 网络结构编码表 为了表示网络block结构,本文设计了一套网络结构...
BlockQNN:NASNet同期,商汤提出block-wise版的MetaQNN | CVPR 2018,程序员大本营,技术文章内容聚合第一站。
BlockQNN: Efficient Block-Wise Neural Network Architecture Generationdoi:10.1109/TPAMI.2020.2969193Zhao ZhongZichen YangBoyang DengJunjie YanWei WuJing ShaoCheng-Lin LiuIEEE COMPUTER SOC
作为NASNet的同期论文,BlockQNN同样地将目光从整体网络转换到了block-wise,整体思路大概是MetaQNN的block版,增加了一些细节地小修改。配合Early Stop Strategy,计算资源十分少,但性能较同期的NASNet差点 来源…
为了验证BlockQNN算法是否真的学习到了设计网络的方式,在同一搜索空间下和暴力搜索进行对比,可以发现本文提出的BlockQNN算法能获得比暴力搜索更好的模型(如图八所示)。 图八:强化学习与暴力搜索获得网络结构在CIFAR数据集的准确率 对整个搜索过程和结果网络结构进行分析(如图九所示),本文作者发现学习得到的优异结构拥有一...
作为NASNet的同期论文,BlockQNN同样地将目光从整体网络转换到了block wise,整体思路大概是MetaQNN的block版,增加了一些细节地小修改。配合Early Stop Strategy,计算资源十分少,但性能较同期的NASNet差点 来源:晓飞的算法工程笔记 公众号 论文: P
相比之前的自动网络搜索方法(如Google NAS算法的数百块GPU以及一个月时间),BlockQNN算法可谓十分高效(如表二、表三所示)。 表二: 不同自动网络结构设计算法的 计算资源对比 表三: 在CIFAR数据集上不同网络结构的错误率 另一方面,学习获得的网络结构也可以更容易的迁移到ImageNet任务上,取得了不错的精度(如表四...
近期的网络结构自动设计/搜索算法通常需要耗费巨大的计算资源(例如,Google的NAS算法需要使用数百块GPU以及近一个月的训练时间),而且生成的模型可迁移性不强,难以做到真正的实用化。本文提出的BlockQNN算法能够解决现有网络结构自动设计/搜索方法效率和泛化性的问题。
> 作为NASNet的同期论文,BlockQNN同样地将目光从整体网络转换到了block-wise,整体思路大概是MetaQNN的block版,增加了一些细节地小修改。配合Early Stop Strategy,计算资源十分少,但性能较同期的NASNet差点 来源:晓飞的算法工程笔记 公众号 论文: Practical Block-wise Neural Network Architecture Generation ...