第30届“操作系统原理大会”(Symposium on Operating Systems Principles,简称SOSP)将于2024年11月4日至6日召开。OSDI与SOSP是操作系统领域两个最高水平的学术会议。本次SOSP大会共有248篇论文投稿,43篇被接收…
#sosp PowerInfer: 用消费级 GPU 部署大语言模型卸载技术利用了 CPU 的额外计算和内存资源,为超出 GPU 内存容量的大规模语言模型 (LLM) 提供了一种更为可行的解决方案。以下内容分析了卸载系统的性能瓶颈,探讨其运行缓慢的原因。图 2 展示了两种主要的卸载方法:*以 GPU 为中心的卸载* 此方法将超...