fp16由1个符号位、5个指数位和10个尾数位组成。fp16在表达小数时具有较高的精度,但表示的最大范围相比bf16要小。相比bf16,容易出现数据溢出的问题。 bf16由1个符号位、8个指数位和7个尾数位组成。相比fp16,bf16牺牲了一些尾数用以增加指数位,扩大了表达范围,但是精度降低了。对于精度要求比较高的模型,效果不...