GB200 NVL72 機架連接 36 個 Grace CPU 和 72 個 Blackwell GPU。 GB200 NVL72 搭載液冷的機架級解決方案,擁有 72 個使用 NVLink 互聯的 GPU,能夠作為單一大型的 GPU 使用,並為擁有兆級參數的 LLM 提供 30 倍的即時推論速度。 GB200 Grace Blackwell 超級晶片是NVIDIA GB200 NVL72的關鍵元件,使用 NVIDIA...
GB200 NVL72 includes a faster second-generation Transformer Engine, featuring FP8 precision, enabling a remarkable 4X faster training for large language models at scale. This breakthrough is complemented by the fifth-generation NVLink, which provides 1.8 TB/s of GPU-to-GPU interconnect, InfiniBand...
(一)GB200 NVL72 基本概念 GB200 NVL72 采用机架级设计使用第五代NVLink实现互联,NVLink 多节点 all-to-all 带宽达到 130TB/s。GB200 NVL72可连接 36 个 Grace CPU 和 72 个 Blackwell GPU,为数据中心提供前所未有的计算能力。GB200 NVL72将72 GPU高密度配置在一个机柜中,用于大模型训推,其中柜内组网...
据悉，GB200 NVL72服务器的平均单价约为300万美元（约合2139万元人民币），较NVL36机柜的平均售价高出66%。尽管价格不菲，但其卓越的性能和高效的计算能力使得各大企业不惜重金采购，这一热潮推动了英伟达在AI芯片市场的领先地位。英伟达原本计划根据串联的CPU与GPU数量，将GB200分为NVL36和NVL72两种服务器，其中...
鸿海先前就曾展示过GB200 NVL72机柜，这次展出实际安装GPU的量产商品。根据摩根士丹利预估，若以NVL 36版本的机柜计算，英伟达2025年出货GB200约6万到7万柜。但主要云端服务供应商（CSP）大量转向NVL 72版本，实际出货可能减少到约5至6万柜，但NVL 72单柜价格高达300万美元，NVL 36是180万美元，出货量少但单价...
GB200 NVL72中一共包含了72颗Blackwell GPU芯片,18颗NVSwitch芯片,Nvidia用了5000根铜缆将所有的GPU都与所有的NVSwitch全部连接起来。因此,GPU和NVSwitch很有可能是构建一个一级Switch交换的全直连的NVLink网络,如下图所示,这样的组网拓扑和互连结构相对于上一代的Hopper也变得更加简单直接。
NVIDIA GB200 NVL72 引入了第五代 NVLink,可在单个 NVLink 域中连接多达 576 个 GPU,总带宽超过 1 PB/s,快速内存超过 240 TB.每个 NVLink 交换机托盘提供 144 个 100 GB 的 NVLink 端口,因此 9 台交换机可完全连接 72 个 Blackwell GPU 上的 18 个 NVLink 端口。
图2. NVIDIA GB200 NVL72 NVLink域提供260 TB/s的总AllReduce带宽 图3. NVIDIA GB200 NVL72机架,配备四个NVLink盒,容纳5,000多根节能同轴铜缆,使每个GPU与其他每个GPU的通信速度比最先进的以太网标准快36倍 加速基础设施创新和贡献 在单个机架中支持如此大规模的GPU NVLink域的重量、配合力和散热要求,必然需...
DGX GB200 NVL72的NVLink互连结构具有以下特点：计算节点配置：GB200 NVL72包含18个计算节点，每个节点内配置了2块GB200主板。每块主板集成了Grace CPU和两颗Blackwell GPU，每颗Blackwell GPU的NVLink性能较上一代有显著提升。NVLink性能升级：Blackwell NVLink升级至第5代，Serdes速率从100G提升至200G...