TuningAuthors: Kevin Kuo; Pratiksha Thaker; Mikhail Khodak; John Nguyen; Daniel Jiang; Ameet Talwalkar; Virginia SmithJournal : Proceedings of Machine Learning and SystemsUrl:https://proceedings.mlsys.org/paper_files/paper/2023/hash/294f82c43d69f66c04440cbb2740e52d-Abstract-mlsys2023.htmlAbstract...
不过 "continuous batching" 这个名称还有大家比较熟悉的那个示意图出处好像是 2023 年的一个博客How cont...
X-RLFLOW: GRAPH REINFORCEMENT LEARNING FOR NEURAL NETWORK SUBGRAPHS TRANSFORMATION 使用TASO表示计算图,并使用强化学习搜索最优图优化。 ADAPTIVE MESSAGE QUANTIZATION AND PARALLELIZATION FOR DISTRIBUTED FULL-GRAPH GNN TRAINING 分布式GNN训练加速。 ALCOP: AUTOMATIC LOAD-COMPUTE PIPELINING IN DEEP LEARNING COMPILER...
个人觉得2023年比较让我感到惊艳的是Paged Attention，从操作系统借鉴的思想，让人感到老树开新花了。不...
01/01/2025 UPDATE: Medusa,严格意义上是 2023 年的工作,不过还是非常值得一提,启发了后续很多 speculative d…阅读全文 赞同2186 条评论 分享收藏喜欢 2024年你最喜欢的MLSys相关的工作是什么? JerryYin777 互联网行业 从业人员 纯主观,感觉可能会有争议,详细内容论文/知乎都能找到...
2023-05-27· 西藏 回复4 群山 QQ频道是仿discord的,不过建个discord群也不错 2023-05-27· 浙江 回复3 胡津铭 作者 还行,四五个群,还能管理得过来 2023-05-27· 浙江 回复喜欢 水dong方块 第一个lab 是colab.research.google.com 吗? 2023-05-27· 沙特阿拉伯 回复2...
附23年的：2023年你最喜欢的MLSys相关的工作是什么？，vLLM 伟大无需多言
近日，清华大学陈键飞团队进一步提出了4-Bit的即插即用Attention（SageAttention2）。实现了3倍以及4.5倍...
感兴趣的朋友可以点击阅读：Medusa，严格意义上是 2023 年的工作，不过还是非常值得一提，启发了后续很多...
and Adorable AI Kernels（差点忘了这个东西了，个人觉得是今年并列喜欢的工作之一）附23年的：2023年你...