NVIDIA DGX™ GH200 旨在處理用於大規模推薦系統、生成式人工智慧和圖形分析的 TB 級模型,為巨型 AI 模型提供線性可擴展性的大量共享記憶體空間。 下載資料表 效率最高的大型記憶體超級電腦 適用於大型模型的龐大記憶體 NVIDIA DGX GH200 是唯一一款在互連的 NVIDIA Grace Hopper Superchip 上提供大量共享記憶...
大规模共享内存：在DGX GH200系统中，通过NVLink连接的GPU可以共享高达144TB的内存。这种大规模共享内存空间为训练和部署超大型AI模型提供了强大的支持。性能优势 超大内存容量：与单个NVIDIA DGX A100 320GB系统相比，DGX GH200在NVLink上可访问的GPU共享内存增加了近500倍。这使得它能够处理需要海量内存的AI模型，例...
最高可以将256个Grace Hopper芯片连接在一起，内存容量达到了恐怖的144TB，与上一代产品相比，DGX GH200的GPU到CPU的带宽提升了10倍，GPU到CPU带宽提升了7倍，此外如果说一台完整体的DGX GH200达到峰值运行的话，那么它的AI性能最高可以达到ExaFLOPS级别也就是百亿亿次，远超竞争对手。
DGX GH200 拥有 128 TBps 对分带宽和 230.4 TFLOPS 的 NVIDIA SHARP 网内计算,可加速 AI 中常用的集体操作,并通过减少集体操作的通信开销,将 NVLink 网络系统的有效带宽提高一倍。 为了扩展到超过 256 个 GPU,ConnectX-7 适配器可以互连多个 DGX GH200 系统以扩展到更大的解决方案。BlueField-3 DPU ...
DGX GH200架构相比上一代将NVLink带宽提升了48倍以上，实现在单个GPU上通过简单编程即可提供大型AI超级计算机的能力。面向AI先锋的新研究工具 谷歌云、Meta和微软是首批有望接入DGX GH200来探索其用于生成式AI工作负载的能力的公司。NVIDIA还打算将DGXGH200设计作为蓝图提供给云服务提供商和其他超大规模企业，以便他们...
256 颗GH200 Grace Hopper 能像单一GPU 一般运作，从而达成高达1 exaFLOPS 的演算力和144TB 的共享内存，后者几乎达到了DGX A100 的500 倍。NVIDIA 称DGX GH200 预计在2023 年末推出，目前许多知名科技公司已对其表示了兴趣。不出意外的话，Google、Meta、微软都将率先引入该款产品来助力生成式AI 的开发。值得一...
对于超过 256 GPU 的扩展, ConnectX-7 适配器可以将多个 DGX GH200 系统互连,以扩展到更大的解决方案中。 BlueField -3 DPU 的强大功能将任何企业计算环境转变为安全且加速的虚拟私有云,使组织能够在安全的多租户环境中运行应用程序工作负载。 目标使用案例和性能优势 ...
一、NVIDIA GH200的技术亮点 NVIDIA GH200作为一款备受瞩目的计算产品，有着诸多令人瞩目的技术特点。其独特的CPU与GPU集成方式是一大亮点，包含72个基于Arm v9架构的内核并通过NVLink - C2C接口紧密相连，这一接口为数据交换提供了高带宽和低延迟的保障，比传统PCIe接口更高效。在内存方面，GH200的创新尤为突出。LPD...
研究人员测试了四核 GH200 节点。研究人员表示，统一内存池“为扩展具有大内存占用的应用程序开辟了新的可能性，这些内存占用超出了单个 GPU 或 CPU 直接可用的内存”。每个节点有 288 个 CPU 核心和四个 Hopper GPU。最终的四核配置总内存为 896GB，每个 Superchip 包括 96GB HBM3 和 128GB LPDDR5 内存。每个...