RDMA(Remote Direct Memory Access)是当今 AI 训练作业的基本组成部分，允许 CPU、GPU、TPU等加速器将数据直接从发送方内存传输到接收方内存，单个GPU/TPU加速器可以集成多个同构或异构网络 I/O。其中RoCE (RDMA over Converged Ethernet) 通过 Verbs API 表达的方式可追溯到上世纪末，多年前才首次由InfiniBand贸易协...
传输层：UET，新一代协议栈的核心 前文提过，传统的RDMA网络传输层（包括IB和RoCE）在多路径传输、负载分担、拥塞控制以及参数调优等方面存在着不足之处。随着AI/HPC集群规模增长，网络的确定性和可预测性越来越困难，需要全新的方法来解决。UEC传输层（UEC Transport Layer，简称UET）运行在IP和UDP协议之上, 支持...
符合 UEC 的网络必须具有支持 UET 的端点(即,遵守由 UEC 配置文件之一定义和总结的相关 UET 模式和 API)。 UEC 配置文件的支持汇集了简化的 RDMA、零复制多路径、更高的网络利用率和减少的尾部延迟,所有这些都实现了最低的 AI 和 HPC 作业完成时间。 如上所述,UET 可以在现有数据中心交换机上运行,但在先进...
RDMA(Remote Direct Memory Access)是当今 AI 训练作业的基本组成部分,允许 CPU、GPU、TPU等加速器将数据直接从发送方内存传输到接收方内存,单个GPU/TPU加速器可以集成多个同构或异构网络 I/O。其中RoCE (RDMA over Converged Ethernet) 通过 Verbs API 表达的方式可追溯到上世纪末,多年前才首次由InfiniBand贸易协会...
总的来说,UEC v1.0规范重构了数据中心以太网以完全替代传统的RDMA网络,用更高的性能、更低的成本实现稳定可靠、具有百万节点的AI/HPC集群。 星融元RoCE交换机与UEC 作为UEC成员单位,星融元提供的超低时延RoCE交换机(CX-N系列)全系采用高性能的标准白盒网络硬件,搭载为生产环境深度调优的企业级SONiC发行版——多项...
其中RoCE (RDMA over Converged Ethernet) 通过 Verbs API 表达的方式可追溯到上世纪末,多年前才首次由InfiniBand贸易协会(InfiniBand Trade Association,IBTA)进行标准化,其底层的以太网络已经提供每秒400G甚至800G速率,这比最初设想的场景提高了几个数量级,重新审视AI/HPC网络核心所采用的底层传输协议和网络API成为...
总的来说,UEC v1.0规范重构了数据中心以太网以完全替代传统的RDMA网络,用更高的性能、更低的成本实现稳定可靠、具有百万节点的AI/HPC集群。星融元RoCE交换机与UEC作为UEC成员单位,星融元提供的超低时延RoCE交换机(CX-N系列)全系采用高性能的标准白盒网络硬件,搭载为生产环境深度调优的企业级SONiC发行版——多项 Eas...
一般而言,远程直接内存访问 (RDMA) 是一项非常成功的技术,它允许 CPU、GPU、TPU 或其他加速器将数据直接从发送方内存传输到接收方内存。这种零拷贝方法可降低延迟并避免操作系统开销。正因为如此,支持 RDMA 的网络技术是当今 AI 训练工作的基本组成部分。
UEC 旨在提出一种“升级版”的以太网通信协议栈用以应对AI智算、HPC等领域对RDMA网络的性能挑战——当前大规模计算节点互联场景下主要有InfiniBand和基于以太网协议的RoCE两大技术路线。有关IB和RoCE协议栈的详尽对比可参阅: 高性能网络传输:RoCE与IB协议栈对比解析 ...
RDMA(Remote Direct Memory Access)是当今 AI 训练作业的基本组成部分,允许 CPU、GPU、TPU等加速器将数据直接从发送方内存传输到接收方内存,单个GPU/TPU加速器可以集成多个同构或异构网络 I/O。其中RoCE (RDMA over Converged Ethernet) 通过 Verbs API 表达的方式可追溯到上世纪末,多年前才首次由InfiniBand贸易协会...