在大模型训练中,通常会通过 BF16 格式进行前反向的计算,在梯度更新的时候使用 FP32 的格式,
TensorFlow分布式训练或推理场景下,通过此环境变量指定当前进程在集合通信进程组中对应的rank标识。