随着人工智能（AI）技术的飞速发展，计算引擎的性能竞赛也愈演愈烈。近期，MLCommons发布的最新AI训练和推理基准测试结果，他们构建了一套 MLPerf AI 训练和推理基准，将AMD的Instinct“Antares”MI300X GPU与Nvidia的“Hopper”H100、H200以及“Blackwell”B200系列GPU进行了直接对比，为我们揭开了这场算力大战的新篇章。
近期,MLCommons发布的最新AI训练和推理基准测试结果,他们构建了一套 MLPerf AI 训练和推理基准,将AMD的Instinct“Antares”MI300X GPU与Nvidia的“Hopper”H100、H200以及“Blackwell”B200系列GPU进行了直接对比,为我们揭开了这场算力大战的新篇章。 基准测试初露锋芒 根据MLCommons发布的最新MLPerf AI推理基准测试结果,A...
近期,MLCommons发布的最新AI训练和推理基准测试结果,他们构建了一套 MLPerf AI 训练和推理基准,将AMD的Instinct“Antares”MI300X GPU与Nvidia的“Hopper”H100、H200以及“Blackwell”B200系列GPU进行了直接对比,为我们揭开了这场算力大战的新篇章。 基准测试初露锋芒 根据MLCommons发布的最新MLPerf AI推理基准测试结果,A...
Nvidia即将推出的H200是H100的内存升级版本,但内存和带宽仍然比MI300X少。H200的GPU内存为141GB,带宽为4.8TB/s。 “对于MI300X,我们增加了更大的灵活性、更大的内存容量和更大的带宽。这意味着它的内存容量是竞争对手的2.4倍,内存带宽是1.6倍。”Su将MI300X与Nvidia的H100 SXM型号进行了比较,后者具有80GB的HBM...
NVIDIA的Hopper GPU售价约为22,500美元，H200 GPU约为30000美元，而MI300X约为20000美元。将GPU集成到服务器中，成本大约为150,000美元，并且这样的服务器可以使用NVIDIA的HGX板或AMD的UBB板构建。MI300X在性价比上略优于H100。单个H100在服务器模式下可能能达到每秒2,700个标记的速度，比MI300X高出约7%。H200的...
这篇文章是关于AMD的MI300X GPU与Nvidia的H100和H200 GPU在性能和总拥有成本(TCO)方面的比较分析。以下是文章的主要观点总结: 1. **性能与预期不符**:尽管MI300X在规格和TCO上理论上具有优势,但实际性能并未达到预期,特别是在软件堆栈和测试方面。
此外在大模型训练方面,Instinct MI325X平台也将为客户提供世界级的尖端性能体验。在Meta Llama-2 7B大模型训练方面,Instinct MI325X单GPU性能是NVIDIA H200 HGX的1.1倍,8xGPU在MetaLlama-2 70B大模型训练上的性能与竞品持平。 根据AMD官方信息,Instinct MI325X平台将于2024年第四季度正式投产,2025年一季度开始将获...
H200 公共稳定版本 – Nvidia H200 的开箱即用体验。 MI300X 11 月 25日 定制版本 - 这是一个手工制作的定制 VIP docker 镜像,它从 AMD 首席工程师编写的源代码构建所有依赖项。 MI300X 稳定公开版本 PyTorch 2.5.1 – AMD MI300X 的开箱即用体验。
虽然MI300X的总体拥有成本(TCO)比H100/H200更低,但基于AMD公开稳定版本软件的训练性能在TCO维度上的表现更差。不过,如果使用AMD软件的定制开发版本,情况会有所改变。 在训练性能上,MI300X在矩阵乘法微基准测试中的表现较弱,基于AMD公共版本软件的单节点训练吞吐量仍然落后于Nvidia的H100和H200。
结果显示,在AI推理任务中,MI300X GPU的性能与H100 GPU不相上下,加上对GPU成本及系统总成本的估计,说MI300X GPU能媲美H100和H200 GPU也不为过。 值得注意的是,这些测试仅使用了来自Meta的Llama 2 70B,尽管测试存在局限性,但这一结果仍然表明,AMD的MI300X GPU在处理大型AI模型方面具有强大的潜力。