环境变量参考
本节描述Transformer加速库安装完成后,提供进程级环境变量设置脚本“set_env.sh”,以自动完成环境变量设置,用户进程结束后自动失效。
环境变量说明
- 基础环境变量
环境变量名
说明
ATB_HOME_PATH
CANN-atb软件包安装后文件存储路径。
- 加速库相关环境变量
环境变量名
说明
ATB_STREAM_SYNC_EVERY_KERNEL_ENABLE
每个Kernel的Execute时进行同步。
ATB_STREAM_SYNC_EVERY_RUNNER_ENABLE
每个Runner的Execute时进行同步。
ATB_STREAM_SYNC_EVERY_OPERATION_ENABLE
每个Operation的Execute时进行同步。
ATB_OPSRUNNER_SETUP_CACHE_ENABLE
是否开启SetupCache,当检查到输入和输出没有变化时,不做setup。
ATB_OPSRUNNER_KERNEL_CACHE_TYPE
0:不开启。
1:开启本地缓存。
2:开启全局缓存。
3:同时开启本地和全局缓存。
ATB_OPSRUNNER_KERNEL_CACHE_LOCAL_COUNT
本地缓存个数。
ATB_OPSRUNNER_KERNEL_CACHE_GLOABL_COUNT
全局缓存个数。
ATB_OPSRUNNER_KERNEL_CACHE_TILING_SIZE
tiling默认大小。
ATB_PROFILING_ENABLE
是否开启profiling工具。
ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE
0:暴力算法。
1:block分配算法。
2:有序heap算法。
3:引入block合并(SOMAS算法退化版)。
ATB_WORKSPACE_MEM_ALLOC_GLOBAL
0:不开启。
1:开启全局中间tensor内存分配。
ATB_COMPARE_TILING_EVERY_KERNEL
每个Kernel运行后,比较运行前和后的NPU上tiling内容是否变化。
LCCL_ENABLE_FALLBACK
LCCL回滚策略开关,不设置时不开启,设置任意值时开启。
- 算子库相关环境变量
表1 算子库相关环境变量说明 环境变量名
说明
ASDOPS_HOME_PATH
CANN-atb软件包安装后文件存储路径。
ASDOPS_OPS_PATH
算子库安装后文件存储路径。
ASDOPS_MATMUL_PP_FLAG
算子库开启使用PPMATMUL。
ASDOPS_LOG_LEVEL
算子库日志级别,支持trace、debug、info、warn、error、fatal,大小写无关。
ASDOPS_LOG_TO_STDOUT
算子库日志是否输出到控制台。
ASDOPS_LOG_TO_FILE
算子库日志是否输出到文件。
ASDOPS_LOG_TO_FILE_FLUSH
日志写文件是否刷新。
ASDOPS_LOG_TO_BOOST_TYPE
算子库对应加速库日志类型,默认“atb”。
ASDOPS_TILING_PARSE_CACHE_DISABLE
算子库tilingParse禁止进行缓存优化。