FP4是2023年10月由某学术机构定义,论文地址:arxiv.org/abs/2310.1683 FP8格式有两种变体,E4M3(4位指数和3位尾数)和E5M2(5位指数和2位尾数) 符号位、指数位、小数位的位数如下表所示: 不同浮点数类型构成 特殊精度 TF32 Tensor Float 32,英伟达针对机器学习设计的一种特殊的数值类型,用于替代FP32。首次在
在 FP4 计算精度下暴力支持 1 petaflop 的 AI 算力,和 Mac Mini 一样大小,但 AI 算力是它的 250 倍⚡️ 3000 美金一台,今年五月发布,买两台串接起来就能跑 400B 的大模型,看来家庭版边缘算力节点有望流行,这个打法,其他厂家加紧时间出产品吧!