陈羽北:其实有很多的神经科学家、统计学家以及数学家他们想要理解自然信号中的一些结构,同时也会关注大脑中的神经元它们是如何运作的,然后把这两者结合在一起,尝试去提出一些极简的对于信号的一些表示。 举一个例子,在大脑里面你会发现有一个现象,就是神经元虽然很多,但同一时间在工作的这些神经元其实是非常的稀疏。
另一个借鉴了V1中“简单细胞”和“复杂细胞”层级结构例子,就是卷积神经网络的鼻祖LeNet。这一著名的神经网络由图灵奖得主杨立昆(Yann LeCun)于1989年在贝尔实验室设计。卷积神经网络包含交替的卷积层(convolution layer)和池化层(pooling layer)。卷积层中神经元类似于“简单细胞”,通过对输入的卷积操作,实现视觉过...
而辛顿团队在2012年采用的卷积神经网络AlexNet,改良自另一位深度学习先驱杨立昆(Yann LeCun),其在1998年提出的LeNet让算法可以提取图像的关键特征,比如特朗普的金发。 同时,卷积核会在输入图像上滑动,所以无论被检测物体在哪个位置,都能被检测到相同的特征,大大减少了运算量。 AlexNet在经典的卷积神经网络结构基础上...
2018年图灵奖得主、法国人工智能科学家杨立昆(Yann Le Cun)被认为是深度学习的发明者之一,也被誉为“卷积神经网络”之父。最近他出版了自传《科学之路:人、机器与未来》,这也是一本介绍人工智能相关领域的科普著作。作为当今火热的深度学习的构建者,杨立昆对人工智能的低谷与辉煌有着切身实际感受以及冷静务实的思考。...
博士就读期间,他提出了神经网络的反向传播算法学习算法的原型。随后到多伦多大学在杰弗里·辛顿的指导下完成了博士后工作。 杨立昆在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络,他也被称为卷积网络之父。他共同创建了DjVu图像压缩...
实际上这个想法可以回溯到上个世纪八十年代的时候。当时提出的卷积神经网络可以识别图像,同时也有很多其他的应用,比如说可以用于语言处理和语言识别和其他很多的应用。这就是我们如今在使用的一些常见应用的模型雏形。 我们知道神经网络是非常庞大且复杂的,只有在算力很强的计算机上才可以运用。在深度学习变得普遍之前,我们...
“杰夫生来就是搞科学的,”辛顿以前的学生兼合作者、现在Meta公司负责人工智能的杨立昆(Yann LeCun)告诉我。然而,辛顿的家庭比这更离奇。他的父亲霍华德·埃弗勒斯·辛顿(Howard Everest Hinton)于20世纪10年代墨西哥革命期间在墨西哥长大,在其父亲管理的银矿上工作。“他十分坚强。”辛顿这样评价他的父亲。家族传说...
博士就读期间,他提出了神经网络的反向传播算法学习算法的原型。随后到多伦多大学在杰弗里·辛顿的指导下完成了博士后工作。 杨立昆在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络,他也被称为卷积网络之父。他共同创建了DjVu图像压缩...
据“深度学习革命三杰”之一的杨立昆(Yann LeCun)回忆,1988年他构思“卷积神经网络”(Convolutional Neural Networks,CNN)时,能够查到的文献几乎都是日本人写的。然而,正是这样一个神经网络底蕴深厚的国家,在深度学习革命到来之时,却出现了相关人才青黄不接的现象。全国押注第五代计算机带来的导向作用很可能是一个...
在此次演讲中,LeCun 对自己近年来倡导的自监督学习进行了梳理,从认知科学出发对人工智能领域未来 10 年的研究目标展开了更为宏大的畅想,提出了基于自监督学习、世界模型、推理、规划的强人工智能实现路线图。 Yann LeCun FAIR 首席AI科学家,Facebook人工智能实验室负责人,曾获得“神经网络先驱奖”。同时是美国国家...