听说OpenAI工程师必背的经典:The Bitter Lesson(苦涩的教训)--理查德·萨顿( Richard S. Sutton ) 在过去年的人工智能研究历程中,一个显著的教训浮现:那些能够充分发挥计算力的通用方法最终能够取得显著的成功。这一现象背后的驱动力是摩尔定律,即计算成本的持续指数级下降。大多数AI研… wxz131打开...
原文链接:The Bitter Lesson (incompleteideas.net)这是Rich Sutton(《Reinforcement Learning: An Introduction》作者之一)在2019年写的一篇博文。如今LLM的发展再一次验证了他的观点。 本文介绍原文中的部分内容(非译文),完整版见链接。原文不长,读完受益良多。Rich...
one approach or the other. And the human-knowledge approach tends to complicate methods in ways that make them less suited to taking advantage of general methods leveraging computation. There were many examples of AI researchers' belated learning of this bitter lesson, and it is instructive to re...
//@时间在飘过:the bitter lesson “苦涩的教训”指的是,AI研究者们常常试图将人类知识融入到AI系统中,这在短期内可能会有所帮助,但长期来看会阻碍进一步发展。而当基于计算力的通用方法取得突破性进展时,这种成功对于那些坚持人类中心方法的研究者来说,是苦涩的。 -Sutton 强调AI自己去学,而不是暴力美学 @高飞...
特别是当今ChatGPT 大模型的横空出世,让人们试图重新审视人工智能的规模优势的这个发展现实。实际上,Rich Sutton 教授 --- 现代人工智能领域强化学习 (Reinforcement Learning) 鼻祖 --- 在2019年的“The Bitter Lesson (惨痛的教训)”一文中就对深度学习应用的“大力...
人工智能专家 Rich Sutton 2019年曾有雄文"痛苦的教训" (The bitter lesson),总结过去七十年来人工智能研究的教训,其核心观点是: 算力的大规模进步会碾压各种局部算法的改进,但研究者往往会假设算力不会改变太多,用自己主观经验和局部知识去改进 AI, 短期内会收获一些进步,研究者会有成就感,但这些改进一般最终遭遇...
In a popular blog post titled “The Bitter Lesson,” Richard Sutton argues that AI’s progress has resulted from cheaper computation, not human design decisions based on problem-specific information. Sutton diminishes researchers that build knowledge into solutions based on their understanding of a pr...
we have to understand the appeal of these mistakes. We have to learn the bitter lesson that building in how we think we think does not work in the long run. The bitter lesson is based on the historical observations that 1) AI researchers have often tried to build knowledge into their age...
量子位 出品 | 公众号 QbitAI 70年来， 人们在AI领域“一直连续犯着同样的错误”。这是“强化学习之父”理查德·萨顿（Richard S. Sutton）为同行后辈们敲响的警钟。他在博客上发表最新文章《苦涩的教训》(The Bitter Lesson)，总结了AI发展史上的怪圈：人类不断试图把自己的知识和思维方式植入到AI之中，比如...
Sutton R (2019) The bitter lesson. http://www.incompleteideas.net/IncIdeas/BitterLesson.html Sze V, Chen Y-H, Yang T-J, Emer J (2017) Efficient processing of deep neural networks: a tutorial and survey. http://arxiv.org/abs/1703.09039 [Cs] Taddeo M, Floridi L (2018) How AI can...