常用的浮点数有双精度和单精度。除此之外,还有一种叫半精度的东东。 双精度64位,单精度32位,半精度自然是16位了。 半精度是英伟达在2002年搞出来的,双精度和单精度是为了计算,而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高,例如分布式深度学习里面,如果用半精度的话,比起单精度来...
半精度(FP16),单精度(FP32),双精度(FP64) 1.分析 在单精度32位格式中,1位用于指示数字为正数还是负数。指数保留了8位,这是因为它为二进制,将2进到高位。其余23位用于表示组成该数字的数字,称为有效数字。 而在双精度下,指数保留11位,有效位数为52位,从而极大地扩展了它可以表示的数字范围和大小。半精度...
常用的浮点数有双精度和单精度。除此之外,还有一种叫半精度的东东。 双精度64位,单精度32位,半精度自然是16位了。 半精度是英伟达在2002年搞出来的,双精度和单精度是为了计算,而半精度更多是为了降低数据传输和存储成本。 很多场景对于精度要求也没那么高,例如分布式深度学习里面,如果用半精度的话,比起单精度来...