相比于随机采样的方法,NSGANetV2在高层次的采样的效率有大幅度提升,例如PNAS需要采样1W+的网络结构来训练上层代理,而本文提出的方法只需采样350个结构就可以达到相似的性能。 Key Points: 提出了一个解决双层NAS问题优化的替代方法,同时优化网络结构和最优模型的权值,采用的策略是使用代理(不是类似DARTS的连续松弛)。
It comprises of two surrogates, one at the architecture level to improve sample efficiency and one at the weights level, through a supernet, to improve gradient descent training efficiency. On standard benchmark datasets (C10, C100, ImageNet), the resulting models, dubbed NSGANetV2, either ...
NAS论文笔记:代理模型篇:NSGA Net V2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Sear,程序员大本营,技术文章内容聚合第一站。
相比于随机采样的方法,NSGANetV2在高层次的采样的效率有大幅度提升,例如PNAS需要采样1W+的网络结构来训练上层代理,而本文提出的方法只需采样350个结构就可以达到相似的性能。 Key Points: 提出了一个解决双层NAS问题优化的替代方法,同时优化网络结构和最优模型的权值,采用的策略是使用代理(不是类似DARTS的连续松弛)。