【有趣的NAS】NAS-RL(ICLR2017) 首发于GiantPandaCV公众号,作者本人亲自转发在博客园,请勿在没有联系本人的情况下进行转载。 谷歌最早发表的有关NAS的文章,全称Neural Architecture Search with Reinforcement Learning 神经网络架构搜索经典范式是,首先通过controller以p概率采样一个网络结构,然后开始训练网络结构得到准确...
ICLR 2017 | GCN:基于图卷积网络的半监督分类 题目:Semi-Supervised Classification with Graph Convolutional Networks 会议:International Conference on Learning Representations, 2017 论文地址:https://arxiv.org/abs/1609.02907 阅读前建议先读一下前面几篇关于GNN的入门文章: 图神经网络(GNN)的基本原理 图解GNN | ...
“TowardsPrincipledMethodsforTrainingGenerativeAdversarialNetworks”，来自MartinArjovsky,LeonBottou。该论文是前段时间火热的“WGAN的前作”。2017年2月，一篇新鲜出炉的arXiv论文《WasserteinGAN》在Reddit的MachineLearning频道火了，而这篇《WasserteinGAN》的理论来源正是前作《TowardsPrincipledMethodsforTrainingGenerativeAdve...
ICLR 2017 于 4 月 24 日星期一开始,到 26 号结束。每天分上午下午两场。每场形式基本一样,先是请来的人发表演讲(invited talk),然后是讨论,也是被选为能够进行口头发表(Oral)的论文、茶歇、海报展示(poster)。 ICLR 2017在法国城市图仑举行,图来自Andrej Karpathy Medium文章 从受邀讲者名单看,ICLR 2017 似...
这是卷积神经网络学习路线的第16篇文章,介绍ICLR 2017的SqueezeNet。近些年来深层卷积网络的主要方向集中于提高网络的准确率。而对于相同的正确率,更小的CNN架构可以提供如下优势:(1)在分布式训练中,与服务器通信需求更小。(2)参数更少,从云端下载模型的数据量少。(3)更适合在FPGA等内存受限的设备上部署。基于这些...
ICLR一跃成为最为炙手可热的学术会议。有意思的是，第一届 ICLR 可能由于规模较小，当时是和 AISTATS 2013（第 16 届国际人工智能及统计会议）一同合办的，殊不知 ICLR 在短短五年间迅速成为深度学习领域无人不知的顶级会议，当真是今非昔比呀。雷锋网也将带来更多关于 ICLR 2017 的新闻，敬请关注。
而off-policy的方法如actor-critic和Q-learning虽然采样效率高，但又带来偏差。在ICLR2017会议上，来自剑桥大学的顾世翔（ShixiangGu）和其他来自谷歌和伯克利的研究者们提出了Q-Prop的方法，将on-policy和off-policy的优点结合起来，大大降低了强化学习方法的采样复杂度。并发表论文《Q-PROP:SAMPLE-EFFICIENTPOLICY...
【有趣的NAS】NAS-RL(ICLR2017) 谷歌最早发表的有关NAS的文章,全称Neural Architecture Search with Reinforcement Learning 神经网络架构搜索经典范式是,首先通过controller以p概率采样一个网络结构,然后开始训练网络结构得到准确率R,根据准确率R和概率p可以使用梯度上升的方法更新controller的参数。
【ICLR2017】Semi-Supervised Knowledge Transfer for Deep Learning from Private Training Data Cgamer 行动起来1 人赞同了该文章 Motivation 我有一个私有训练集和一个训好的模型,我想发布这个模型出去,但是直接发布可能会有恶意攻击者通过模型参数反推私有训练数据(因为模型往往过拟合于训练数据)。因此这篇文章提出了...
ICLR2017 会议中的 Alex Graves（Google Deepmind）。如今的研究重点是学习「教科书」式算法，如「学校、年级」的添加和事务排序。这与我的目的——从现有的最佳解决方案的数据中学习程序似乎完全相悖。何不仅仅将它们作为先验知识的单位？但我意识到这样可能有所疏漏，即最简单的、完全可泛化的、殚见洽闻的程序也许...