而內存帶寬已被證明是AI性能的關鍵指標,特別是在推理方面。例如,英偉達H200本質上是H100加強帶寬的版本。儘管 FLOPS 相同,英偉達聲稱H200在如Meta的Llama2 70B模型中的速度是H100的兩倍。 雖然英偉達在低精度領域保持明顯領先,但可能犧牲了雙精度性能,AMD 近年來在此類性能方面表現突出,贏得了多項高端超級計算機獎項。
根據AMD之前透露的信息顯示,其已經與微軟、Meta等大公司達成了很大一部分交易,這些公司將其MI300X GPU視爲英偉達H100解決方案的替代品。 AMD最新的Instinct MI300X預計將在2024年上半年大量出貨,但是,屆時英偉達更強的H200 GPU也將出貨,2024下半年英偉達還將推出新一代的Blackwell B100。另外,英特爾也將會推出其新一...