参数名 |
描述 |
---|---|
atomic_clean_policy |
是否集中清理网络中所有atomic算子占用的内存,取值包括:
配置示例: npu.global_options().memory_config.atomic_clean_policy=1 |
external_weight |
是否将网络中Const/Constant节点的权重外置,取值包括:
说明:当网络中weight占用内存较大且对模型大小有限制时,建议将此配置项设置为“True”。
配置示例:
npu.global_options().external_weight=True |
graph_memory_max_size |
网络静态内存和最大动态内存,可根据网络大小指定。单位:Byte,取值范围:[0, 256*1024*1024*1024]或[0, 274877906944]。 不同型号的昇腾AI处理器,“graph_memory_max_size”和“variable_memory_max_size”支持的总和最大值不同,您可以通过npu-smi info -t memory -i id命令查询某设备下所有芯片的内存信息,回显的片上内存值即为支持设置的“graph_memory_max_size”和“variable_memory_max_size”的总和最大值。 如果不设置,“graph_memory_max_size”的默认值为:26/32*片上内存最大值。 配置示例: npu.global_options().graph_memory_max_size=26 * 1024 * 1024 * 1024 |
variable_memory_max_size |
变量内存,可根据网络大小指定。单位:Byte,取值范围:[0,256*1024*1024*1024]或[0, 274877906944]。 不同型号的昇腾AI处理器,“graph_memory_max_size”和“variable_memory_max_size”支持的总和最大值不同,您可以通过npu-smi info -t memory -i id命令查询某设备下所有芯片的内存信息,回显的片上内存值即为支持设置的“graph_memory_max_size”和“variable_memory_max_size”的总和最大值。 如果不设置,“variable_memory_max_size”的默认值为:5/32*片上内存最大值。 配置示例: npu.global_options().variable_memory_max_size=5 * 1024 * 1024 * 1024 |
static_memory_policy |
网络运行是否使用内存静态分配方式。
默认值是0,配置示例: npu.global_options().memory_config.static_memory_policy=0 |