模型执行时报错,内存超过31G,导致内存分配不足。
发现该网络的图结构中有switch->merge的V1控制结构,是因为当网络中的分支结构较多,且采用V1版本的控制流算子可能会影响内存复用的效果,导致内存不足。
1 2 |
tf.enable_control_flow_v2() tf.enable_resource_variables() |
export ENABLE_FORCE_V2_CONTROL=1
注意:使用该环境变量,可能会存在V1版本控制流算子到V2版本控制流算子转换失败的场景,例如网络脚本中带ref控制算子的场景。