北大河图团队提出的系统「惊破天」Galvatron 同样属于自动并行搜索的研究领域，但相比于现有工作，该系统主要拥有以下三方面优势：（1）在多样性方面，现有工作能够支持的并行维度仍然比较有限，而 Galvatron 不仅可以支持更多的并行维度，并且面对更加差异化的 Transformer 模型结构也能够精准建模，以及在不同的集群硬件条件下...
北大河图团队提出了一套面向大模型的自动并行分布式训练系统Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被VLDB 2023 接收。 最近一段时间,「大模型」在 AI 领域的各种应用场景都大放异彩,其中基于 Transformer 的大规模预训练模型是最典型的大模型之一,已经成为了当前基础模型(Fou...
北大河图团队提出了一套面向大模型的自动并行分布式训练系统Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被VLDB 2023 接收。 最近一段时间,「大模型」在 AI 领域的各种应用场景都大放异彩,其中基于 Tra...
北大河图团队提出了一套面向大模型的自动并行分布式训练系统Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。 最近一段时间,「大模型」在 AI 领域的各种应用场景都大放异彩,其中基于 Transformer 的大规模预训练模型是最典型的大模型之一,已经成为了当前基础模型(F...
近日,北大河图团队提出了一套面向大模型的自动并行分布式训练系统Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。论文地址:vldb.org/pvldb/vol16/p4项目代码链接:github.com/PKU-DAIR/Het 研究背景 最近一段时间,「大模型」在AI领域的各种应用场景都大放异彩,...
近日,北大河图发布了分布式训练神器Galvatron,一键实现大模型高效自动并行,引起了业界广泛关注。在深度学习模型训练过程中,分布式训练一直是大模型训练的重要技术手段。然而,传统的分布式训练需要手动拆分模型、分配计算资源、调整通信参数等复杂操作,效率低下且易出错。针对这一问题,北大河图团队结合多年在深度学习框架和分布式...
北大河图团队提出了一套面向大模型的自动并行分布式训练系统Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。 最近一段时间,「大模型」在 AI 领域的各种应用场景都大放异彩,其中基于 Transformer 的大规模预训练模型是最典型的大模型之一,已经成为了当前基础模型(...
2022 年 1 月,北京大学数据与智能实验室河图团队负责人苗旭鹏博士做客机器之心「2021-2022 年度 AI 技术趋势洞察」的「工程专场」直播间时,为我们带来了主题为「北大河图在稀疏大模型训练架构上的几点探索」的相关报告。 苗旭鹏博士的分享围绕稀疏大模型训练架构展开,主要从稀疏大模型的相关背景、河图相关研究来展开...
北大河图团队提出了一套面向大模型的自动并行分布式训练系统 Galvatron,相比于现有工作在多样性、复杂性、实用性方面均具有显著优势,论文成果已经被 VLDB 2023 接收。 最近一段时间,「大模型」在 AI 领域的各种应用场景都大放异彩,其中基于 Transformer 的大规模预训练模型是最典型的大模型之一,已经成为了当前基础模型...
近日,北京大学数据与智能实验室(PKU-DAIR)河图(Hetu)团队发布了全新的稀疏大模型训练加速解决方案HET,其研究成果《HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework》已于2021年9月被国际顶级会议VLDB 2022录用并对外发布。论文提出了一种基于Embedding缓存的新一代稀疏大模型训练...