沈向阳指出,通用大模型是AI的基础,要训练一个通用大模型至少需要万卡;行业大模型是做领域应用的底座,需要千卡级别的训练;企业大模型是企业数据价值的再发现,需要百卡级别的训练。这些大模型都对算力的要求极高。“最激动人心的是个人大模型,比如联想、微软在推AIPC和苹果的Apple Intelligence等都是朝着个人智能这个方...
大模型可分为通用大模型、行业大模型、企业大模型和个人大模型。沈向洋指出,通用大模型是AI的基础,要训练一个通用大模型至少需要万卡;行业大模型是做领域应用的底座,需要千卡级别的训练;企业大模型是企业数据价值的再发现,需要百卡级别的训练。这些大模型都对算力的要求极高。“最激动人心的是个人大模型,比如联想、...
第三层技术是交互。如今，人工智能社交是一个非常大的机会。然而，虽然AR、VR最大的用途就是交互，但交互恰恰是最难做的。直到大模型的问世才给行业带来很多的惊喜。通过大模型，人的身体、动作可以完成交互，人脸跟表情的交互可以越做越好。第四层技术是“AI Agents”，即人工智能体。今天的虚拟现实控制交互都是通...
在之前的大部分深度学习文章里面,我们都只有生成模型和判别模型,可以看做是一个开环系统。控制论中一个基本原理就是开环系统不稳定,不鲁棒,distribution shift对其影响很大。我们在下面的论述当中会举一个具体的例子来说明这两者在incremental learning上的区别。 This currently popular practice is very similar to an...
谈到人工智能，很多人担心失业或被机器人接手。我关心的是人工智能偏见。我们必须建立一个能够听到所有声音、识别所有面孔的人工智能系统，在我们这个多元化的世界中，为每个人创造最好的未来。但人工智能通过数据集和模型反映出的，是一个人类想方设法偏袒自己的社会。那么我们如何编写不反映和放大我们个人想法的程序呢...
其一,构建大规模的强机器学习仿真器。不仅是游戏,还有自动驾驶等复杂系统。 其二,对于机器学习本质的深度理解。从优化功能开始,思考我们从里面真正学到的是什么。 其三,基于神经与符号的混合模型(Hybrid Neural/Symbolic Model for Robust AI)。前两个不是今天的重点,我会介绍基于神经与符号的混合模型。最近,雷蒙德微...
时可以被upper bound;第二项是我们子模型的training error,就是训练过程中要最小化的项;我们可以看到dropout带来了一个新的问题,也就是第三项,子模型和我们完整模型之间这个gap,这一项是没有任何bound,这就导致前面这两项可能做得很好,但是因为这项非常大没有任何bound,所以导致我们最后关注的完整模型的测试的错误...
在2024 Inclusion·外滩大会上,香港科技大学校董会主席沈向洋对大模型产业的未来进行了深入分析。沈向洋认为,AI Agent时代的到来将不会是一个神奇的模型取代所有工作流的奇迹,而是一个技术、工程与市场不断磨合的过程,最终以超预期的服务呈现给人类。 沈向洋强调,算力是构建大模型的关键。他指出,自2010年以来,大模...
9月5日,香港科技大学校董会主席、美国国家工程院外籍院士沈向洋在2024 Inclusion·外滩大会上分享了他对大模型产业落地的八个思考。他认为,AI Agent时代的到来,不会是一个神奇而强大的模型突然代替了所有工作流,它涉及技术、工程与市场的不断磨合,最终以超预期的服务呈现给人类。