[译文] 苦涩的教训 英文原文:The Bitter Lesson 理查德·萨顿(Richard S. Sutton,现代强化学习之父,现任加拿大阿尔伯塔大学教授) 2019年3月13日 过去70年人工智能研究领域最重要的一堂课是,只有通用计算方法最终是最有效的,而且优势巨大。根本原因是摩尔定律,更确切地说是,每个计算单元的成本持续呈指数下降。大多数...
其中 The bitter lesson 源自机器学习先驱 Rich Sutton 在 2019 年的一篇经典文章《苦涩的教训》， 通过探讨人工智能近几十年所走过的弯路，他抛出的核心观点是：人工智能如果想要长期获得提升，利用强大的算力才是王道。这里的算力隐含了大量的训练数据和大模型。原文链接：http://www.incompleteideas.net/IncIdeas/B...
This is a big lesson. As a field, we still have not thoroughly learned it, as we are continuing to make the same kind of mistakes. To see this, and to effectively resist it, we have to understand the appeal of these mistakes. We have to learn the bitter lesson that building in how...
其中The bitter lesson 源自机器学习先驱 Rich Sutton 在 2019 年的一篇经典文章《苦涩的教训》, 通过探讨人工智能近几十年所走过的弯路,他抛出的核心观点是:人工智能如果想要长期获得提升,利用强大的算力才是王道。这里的算力隐含了大量的训练数据和大模型。 因此,作者 @SIY.Z 认为某种意义上,强大算力加持的通用 AI...
其中The bitter lesson 源自机器学习先驱 Rich Sutton 在 2019 年的一篇经典文章《苦涩的教训》, 通过探讨人工智能近几十年所走过的弯路,他抛出的核心观点是:人工智能如果想要长期获得提升,利用强大的算力才是王道。这里的算力隐含了大量的训练数据和大模型。
The Bitter Lesson Richard S. Sutton 过去70年人工智能研究领域最重要的一堂课,是只有通用计算方法(蛮力计算 brute-force)最终是最有效的,而且优势很大——因为摩尔定律,每单位计算成本持续呈指数下降。大多数人工智能研究都是假设Agent可用的计算量是恒定的(在这种情况下,利用人类知识将是提高性能的唯一方法之一),但...
其中The bitter lesson 源自机器学习先驱 Rich Sutton 在 2019 年的一篇经典文章《苦涩的教训》, 通过探讨人工智能近几十年所走过的弯路,他抛出的核心观点是:人工智能如果想要长期获得提升,利用强大的算力才是王道。这里的算力隐含了大量的训练数据和大模型。
今天要介绍的这篇文章《The Bitter Lesson 苦涩的教训》是由知名计算机科学家,阿尔伯塔大学、DeepMind的神经网络专家Rich Sutton 在 2019 年发表的,主要讨论了在人工智能研究中一个重要的观察:当简单的算法能够利用大量的计算资源时,往往会胜过依赖于人类专家洞察力的复杂算法。 在回顾AI历史上一些关键进展时,Sutton指出...
前段时间,OpenAI的工程师Jason Wei发布了一个个人作息表,其中很有趣的一条是背诵强化学习之父Richard Sutton的文章《The Bitter Lesson》,Ilya在2019年的时候也在推特上分享过这篇文章,可见这篇文章对OpenAI这家公司技术路线的影响之深。 大体来说,这篇文章是在Scaling Low的圣经,在用历史告诉开发者,能用算力解决...
人工智能和机器学习方面的突破,在某种程度上,得益于人类一种思维方式的转变。关于这一点,Rich Sutton有一篇短文,广为流传,很有影响。文章标题是《the bitter lesson》,即《苦涩的教训》。感兴趣的读者可以去搜搜看。 简单说说这篇文章讲什么: 1. 在人工智能研究中,有两种主要方法: ...