MLSys 2023有哪些值得关注的文章？抽空一口气记了下本届MLSys会议全部46篇论文中每篇的大致内容，并顺便分了下类。这波属实是累趴下了。Memory Optimization Reducing Activation Recomputation in Large Transformer Models Vijay Anand Korthikanti, Jared Casper, Sangkug Lym, Lawrence McAfee, Michael Andersch, ...
不过 "continuous batching" 这个名称还有大家比较熟悉的那个示意图出处好像是 2023 年的一个博客How cont...
听名字就知道,这个会代表了美国 MLSys 的最核心圈子,会议的发起人 Jeff Dean、Fei-Fei Li、Eric Xing、Alex Smola 都来自的 Google、Meta 这些硅谷科技巨头和 UCB、Stanford、CMU 这些老牌系统强校的巨佬。鉴于现在大模型技术还是美国主导的,MLSys 一定程度上也代表着先进生产力的前进方向和最新的思潮发展方向。 今...
听名字就知道,这个会代表了美国 MLSys 的最核心圈子,会议的发起人 Jeff Dean、Fei-Fei Li、Eric Xing、Alex Smola 都来自的 Google、Meta 这些硅谷科技巨头和 UCB、Stanford、CMU 这些老牌系统强校的巨佬。鉴于现在大模型技术还是美国主导的,MLSys 一定程度上也代表着先进生产力的前进方向和最新的思潮发展方向。 今...
https://proceedings.mlsys.org/paper_files/paper/2023/hash/523f87e9d08e6071a3bbd150e6da40fb-Abstract-mlsys2023.html 去年Dean 署名的文章是 Pathways,也是 22 年的 Outstanding Paper之一。我感觉 Dean 署名论文投稿 MLSys 就类似《求是》杂志发表咱们大领导的文章,起到给全美的 MLSys 工作定调子的作用。言外...
This is the implementation of Pre-train and Search: Efficient Embedding Table Sharding with Pre-trained Neural Cost Models, accepted by MLSys 2023. Sharding a large machine learning model across multiple devices to balance the costs is important in distributed training. This is challenging because pa...
卢炯嘉 - Buddy MLIR,从 AI 到 RISC-V V 拓展的端到端进展 - PLCT开放日2023 1067播放 Triton语言入门教程-智源人工智能研究院-20240602 3486播放 「深度解析如何构建LLM」斯坦福CS229夏季AI新课来了❗️ 7973播放 [FAI] 清华 游凯超 | 理解、学习与使用PyTorch编译器(torch.compile) 1.0万播放31...
卢炯嘉 - Buddy MLIR,从 AI 到 RISC-V V 拓展的端到端进展 - PLCT开放日2023 1067播放 Triton语言入门教程-智源人工智能研究院-20240602 3486播放 「深度解析如何构建LLM」斯坦福CS229夏季AI新课来了❗️ 7973播放 [FAI] 清华 游凯超 | 理解、学习与使用PyTorch编译器(torch.compile) 1.0万播放09...
使用TASO表示计算图,并使用强化学习搜索最优图优化。 ADAPTIVE MESSAGE QUANTIZATION AND PARALLELIZATION FOR DISTRIBUTED FULL-GRAPH GNN TRAINING 分布式GNN训练加速。 ALCOP: AUTOMATIC LOAD-COMPUTE PIPELINING IN DEEP LEARNING COMPILER FOR AI-GPUS 多级流水线编译框架。
MLSys 2023有哪些值得关注的文章？抽空一口气记了下本届MLSys会议全部46篇论文中每篇的大致内容，并顺便分...