ACLNN_CACHE_LIMIT

功能描述

此环境变量用于配置单算子执行API在Host侧缓存的算子信息条目个数。缓存的算子信息包含workspace大小、算子计算的执行器、tiling信息等。

单位:个,取值范围:[1,10000000],默认值为10000。

一般场景下不建议设置ACLNN_CACHE_LIMIT环境变量,保持默认值即可。针对动态shape场景下,若算子shape范围较大,开发者可结合业务场景适当增加此环境变量取值增加算子缓存条目,从而提升调度性能。但需要注意,增加算子信息缓存条目会增加Host内存开销,详细可参见使用约束

配置示例

export ACLNN_CACHE_LIMIT=10000

使用约束

支持的型号

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2 训练系列产品

Atlas A3 训练系列产品/Atlas A3 推理系列产品