GE_USE_STATIC_MEMORY

功能描述

网络运行是否使用内存静态分配方式。

当网络模型层数过大时,例如featuremap中间计算数据可能超过25G,例如bert24网络,多P场景下为保证通信内存高效协同,需要配置为1,表示使用内存静态分配方式,其他网络暂时无需配置,默认使用内存动态分配方式。

不同型号的昇腾AI处理器静态内存默认值不同,默认值计算方式为:26/32*片上内存大小。片上内存的最大值可以通过npu-smi info -t memory -i id命令进行查询。

如需要调整静态内存,可以通过网络运行参数graph_memory_max_size指定;动态内存是动态申请,最大不会超过graph_memory_max_size和variable_memory_max_size的总和。

使用AOE工具进行自动调优时,请确保关闭内存静态分配方式,避免影响调优结果。

配置示例

export GE_USE_STATIC_MEMORY=1