https://zhuanlan.zhihu.com/p/449345588 BF16 是对FP32单精度浮点数截断数据，即用8bit 表示指数，7bit 表示小数。 FP16半精度浮点数，用5bit 表示指数，10bit 表示小数； 与32位相比，采用BF16/FP16吞吐量可以翻倍，内存需求可以
前置知识 混合精度训练 在参数存储时采取fp32, 开始进行fp/bp时转成fp16运算, 拿到fp16梯度后再转回fp32更新参数. ZeRO对显存占用的估算: 模型状态: Weights(fp16)、grad(fp16) 和 MasterWeights(fp32 模型参数备份)，momentum
