在 H100 架构中,通过引入了 4 个 NV Switch,采用了分层拓扑的方式,每张卡向第一个 NV Switch 接入 5 条链路,第二个 NV Switch 接入 4 条链路,第三个 NV Switch 接入 4 条链路,第四个 NV Switch 接入 5 条链路,总共 72 个 NVLink 提供 3.6 TB/s 全双工 NVLink 网络带宽,比上一代提高 1.5 倍。
8个DGX GB200 NVL72，又可以组成一个576个GPU的SuperPod超节点，总带宽超过1PB/s，高速内存高达240TB。NVL72机架的9个Switch Tray（网络交换托架），就是9台NVLink Switch交换机。每台NVLink Switch交换机包括2颗NVLink Switch4芯片，交换带宽为28.8Tb/s × 2。NVLink SwitchNVL72采用高速铜连接架构设计。在机...
到了 H100 中，又有了新的技术突破，单机内有 8 块 H100 GPU 卡，任意两个 H100 卡之间都有 900 GB/s 的双向互联带宽。值得注意的是，在 DGX H100 系统里，四个 NVSwitch 留出了 72 个 NVLink4 连接，用于通过 NVLink-Network Switch 连接到其他 DGX H100 系统，从而方便组成 DGX H100 SuperPod 系统。...
NVLink Switch协同NVLink释放数据传输能力。通过连接多个NVLink，NVLink Switch实现机架内和机架间全速度的GPU通信，提供1.8TB/s双向直接GPU到GPU互连技术，显著扩展服务器内多GPU的输入和输出能力。NVLink Switch还配备NVIDIA可扩展分层聚合和缩减协议（SHARP）™引擎，优化网络内缩减和多播加速，进一步提高通信效率。NV...
值得注意的是,在 DGX H100 系统里,四个 NVSwitch 留出了 72 个 NVLink4 连接,用于通过 NVLink-Network Switch 连接到其他 DGX H100 系统,从而方便组成 DGX H100 SuperPod 系统。其中,72 个 NVLink4 连接的总双向带宽是～3.6TB/s。 总结 在大模型时代,人工智能的发展越来越依赖于强大的计算资源,尤其是 GPU...
接下来,我们重点看看基于NVLink 5.0打造的DGX GB200 NVL72超节点。这个超节点的架构非常有代表性。 DGX GB200 NVL72,包含了18个GB200 Compute Tray(计算托架),以及9个NVLink-network Switch Tray(网络交换托架)。如下图所示: NVL72机柜 每个Compute Tray包括2颗GB200超级芯片。每颗GB200超级芯片包括1个Grace ...
在H100最新的NVLink Switch架构下试算,单服务器NVLink下需要18对、36个osfp,也就是36个800G;一个POD集群的32台服务器则需要36x32=1152个800G光模块。若不采用NVLink Switch架构或者需要多集群扩容,需要使用InfiniBandNDR网络,则采用传统叶脊双层架构,需要800G+2x400G(NDR)的方案,数量关系可参考普通集群,核心是系...
可以看到NVSwitch竟然比InfiniBand还要快4.5倍,InfiniBand只有超算中心才能用的起。Nvidia简直是变态。。。 参考链接: AI Infra 基础知识 - NVLink 入门 (qq.com) 深入了解 GPU 互联技术——NVLINK (qq.com) NV Switch 深度解析与性能剖析 (qq.com)
1、高带宽：Nvlink Switch支持极高的数据传输带宽，使得GPU之间能够迅速交换大量数据。例如，基于Hopper架构的第四代Nvlink，单链可实现50GB/s的双向带宽，单芯片可支持18链路，即900GB/s的总双向带宽。这种高带宽特性显著提升了数据传输效率，为高性能计算提供了坚实的基础。2、低延迟：除了高带宽外，Nvlink Switch...