毫无疑问，现在可说是自回归大型语言模型（LLM）的时代，我们看到技术迭代，我们也看到应用频出，但即便如此，也依然有人表示不看好。唱衰自回归范式的最著名人物应当是 Yann LeCun 无疑了。他甚至还曾给出过一个相当大胆的判断：「从现在起 5 年内，没有哪个头脑正常的人会使用自回归模型。」详见机器之心报道《...
也许其中一个原因在于,一个 LLM 通常在 20 万亿个 token 上进行训练,一个 token 对于一种典型语言来说,平均约为四分之三个单词,也就是 1.5×10¹³ 个单词,每个 token 约 3 个字节,总计 6×10¹³ 个字节。我们任何...
Yann LeCun:我们今天使用的 LLM 无法做到这一点,原因有很多,但最主要的原因是 LLM 的训练方式是:你获取一段文本,删除文本中的一些单词,屏蔽它们,用空白 token 代替它们,然后训练一个遗传神经网络来预测缺失的单词。如果你以一种特殊的方式构建这个神经网络,让它只能查看左侧的单词或它试图预测的单词,那么你所拥有...
也许其中一个原因在于,一个 LLM 通常在 20 万亿个 token 上进行训练,一个 token 对于一种典型语言来说,平均约为四分之三个单词,也就是 1.5×10¹³ 个单词,每个 token 约 3 个字节,总计 6×10¹³ 个字节。我们任何人要读完所有这些文本,大约需要几十万年。这基本是互联网上所有公开可用的所有文本...
Yann LeCun 最新哈德逊论坛演讲:仅通过文本训练,LLM 永远不会达到接近人类水平的智能。所以现在 Meta 已经转向了更长期的下一代 AI 系统研究,基本不再专注于 LLM 了。
图灵奖得主、Meta首席AI科学家杨立昆（Yann LeCun），联合纽约大学等在今年6月推出。号称是“全球首个无法作弊的LLM基准测试”。而这次冷不丁杀出来的黑马，其实比较熟悉国内大模型竞争格局的朋友们已经猜到了——Step系列，背后是大模型六小虎之一的阶跃星辰。指令跟随高分拿下全球第一 在LiveBench榜单上，阶跃星辰...
Yann LeCun 在演讲中表示自回归 LLM 会走向末路（doomed）但现在，DeepMind 和阿尔伯塔大学的一篇论文却给出了截然相反的见解，其研究结果表明：无需外部干预或修改模型权重，基于 Transformer 的语言模型的自回归式解码就可以实现通用计算。论文标题：Autoregressive Large Language Models are Computationally Universal论文...
然而,知名 AI 学者、图灵奖得主 Yann LeCun 并不这么认为,他一直唱衰自回归 LLM。近日 LeCun 在哈佛大学的演讲内容深入探讨了这些问题,内容长达 95 页,可谓干货满满。 LeCun 给出了一个模块化的认知架构,它可能构成回答这些问题的途径。该架构的核心是一个可预测的世界模型,它允许系统预测其行动的后果,并规划...
Yann LeCun 最新哈德逊论坛演讲:仅通过文本训练,LLM 永远不会达到接近人类水平的智能。所以现在 Meta 已经转向了更长期的下一代 AI 系统研究,基本不再专注于 LLM 了。 LeCun说,扎克伯格一直在问他需要多长时间才能达到人类水平的 AI,而他告诉马克-扎克伯格,至少还需要几年甚至十年的时间。
Meta首席AI科学家Yann LeCun最近在采访中的言论再次引起轩然大波! 他毫不留情地表示: 「我们绝对不可能通过扩大LLM规模达到人类水平的AI,这根本不可能发生!」 这话一出,立刻在技术圈掀起激烈讨论。 到底LLM究竟能走多远? 我们真的需要一场架构革命吗?