关于ai infra的学习路线 打算今年九月去读一个一年硕,也就是还有一年半就要就业了目前只有一个编译器开源项目,一个分布式推理的毕设,一段小厂dirty work实习,想开始准备ai infra的技术栈了,请问一下各位大佬有什么要学的课程和要做的项目(最好是有一个比较清晰的路径?)...
O1技术路线(猜测) DeepSeek R1 Kimi 1.5 AI INFAR的需求和挑战 未来的一些想法 参考 前言 本文主要讨论O1/O3/R1/Kimi 1.5模型对AI INFRA,主要是推理框架/基础设施层面的上的思考和挑战。 从行为表现上看,这些模型的共同点:都具备较长的思维链路,推理成本增高的同时引起效果的明显提升(尤其是Code/Math等方面)。
4. GenAI 应用爆发〖脚手架〗:为 AI Agent 构建丰富的基础设施 (infra) 5. YC 创始人 Paul Graham 经典长文:优秀的创业 idea 从何而来 6. Generative AI Handbook:生成式人工智能的学习路径与资源清单 7. 奇绩创坛 2024 春季创业营路演日, 53 个创业项目,81% 大模型相关 趋势一 趋势二 日报&周刊合集 |...
AI Infra作为提供大模型训练、部署和应用时所需的基础设施,快速、便宜和优质是最核心的三个问题,AI Infra要实现的就是在不牺牲模型性能的前提下尽可能降低模型部署成本。 成本、效率和性能是大模型发展中的不可能三角,在AI Infra赛道的玩家如何实现? 如果说模型层和应用层已经成为红海,那么AI Infra还是一片蓝海。
它主要的场景是给搜索、广告和推荐服务，相对于第一代大数据infra的不同在于它加了很多实时计算的内容。实时计算就是当时 AI 推理的主要工作，我在第四范式的时候也广泛调研和参与了 AI 推理的相关研究。AI 推理主要保证机器学习从训练到推理阶段的数据高质量供给和一致性，这其实是最具挑战性的。当时也出现了一堆...
与机器学习框架主要解决易用性问题不同,AI编译器重点解决的是性能优化、计算芯片最优适配的问题。一般通过对单算子的底层计算代码生成,或是对计算图的重组和融合,来提升模型推理的性能。在芯片断供、自研芯片百花齐放的当下,AI编译器也成了目前AI Infra发展最为迅猛的领域之一。阿里PAI团队的杨军老师也写过关于AI...
在AI Infra层，腾讯打造了国内最大规模的智能驾驶云专区，目前已在上海、河北怀来拓展了四个云专区，云专区之间，可以实现高效的跨区传输、能够灵活支持远程容灾,为智能驾驶的业务连续性提供基础支撑。云专区遵从自然资源部安全合规要求，机房与网络独立于公有云，保障了全流程的数据合规。同时，专有云沿袭了公有云...
1.基础设施(infra)革命 作为AI基础设施的领导者,这些年英伟达GPU的迭代速度逐渐突破摩尔定律的限制,推动了计算的蓬勃发展。2024年6月,英伟达CEO黄仁勋在computex大会上讲到,过去八年来,AI的运算速度增长了1000倍,能耗降至原来的1/350。AI的发展,极大地拓宽了科技创新的边界。
2 联结主义学派仍然继续要走压缩智能和物理世界模型等深度仿生路线! 3 大模型的Scaling Law大概率失效下,大模型将降本增效-模型更小,成本更低,大家将会专注基于目前大模型能力,开发PMF的产品! 4 国内大模型公司将会转型做垂直行业产品的变多,不会有那么多的人留在牌桌上! 5 AI Infra:推理和训练阶段的计算优化...