环境变量参考
本节描述MindIE-RT和Transformer加速库安装完成后，提供进程级环境变量设置脚本“set_env.sh”，以自动完成环境变量设置，用户进程结束后自动失效。
MindIE-RT环境变量说明
环境变量名 |
说明 |
|---|---|
ASCENDIE_HOME |
mindie-rt软件包安装后文件存储路径。 |
LD_LIBRARY_PATH |
动态库的查找路径。 |
ASCEND_CUSTOM_OPP_PATH |
推理引擎自定义算子包安装路径。 |
Transformer加速库环境变量说明
- 基础环境变量
环境变量名
说明
ATB_HOME_PATH
MindIE-ATB软件包安装后文件存储路径。
- 加速库相关环境变量
环境变量名
说明
ATB_STREAM_SYNC_EVERY_KERNEL_ENABLE
每个Kernel的Execute时进行同步。
ATB_STREAM_SYNC_EVERY_RUNNER_ENABLE
每个Runner的Execute时进行同步。
ATB_STREAM_SYNC_EVERY_OPERATION_ENABLE
每个Operation的Execute时进行同步。
ATB_OPSRUNNER_SETUP_CACHE_ENABLE
是否开启SetupCache，当检查到输入和输出没有变化时，不做setup。
ATB_OPSRUNNER_KERNEL_CACHE_TYPE
0：不开启。
1：开启本地缓存。
2：开启全局缓存。
3：同时开启本地和全局缓存。
ATB_OPSRUNNER_KERNEL_CACHE_LOCAL_COUNT
本地缓存个数。
ATB_OPSRUNNER_KERNEL_CACHE_GLOABL_COUNT
全局缓存个数。
ATB_OPSRUNNER_KERNEL_CACHE_TILING_SIZE
tiling默认大小。
ATB_OPSRUNNER_KERNEL_CACHE_PARAM_COMPARE_HASH
通过比较launch info的哈希值判断缓存是否命中
ATB_PROFILING_ENABLE
是否开启profiling工具。
ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE
0：暴力算法。
1：block分配算法。
2：有序heap算法。
3：引入block合并（SOMAS算法退化版）。
ATB_WORKSPACE_MEM_ALLOC_GLOBAL
0：不开启。
1：开启全局中间tensor内存分配。
ATB_COMPARE_TILING_EVERY_KERNEL
每个Kernel运行后，比较运行前和后的NPU上tiling内容是否变化。
ATB_HOST_TILING_BUFFER_BLOCK_NUM
Context内部HostTilingBuffer块数，通常使用默认值即可，可配置范围：最小128，最大1024。
ATB_DEVICE_TILING_BUFFER_BLOCK_NUM
Context内部DeviceTilingBuffer块数，通常使用默认值即可，可配置范围：最小32，最大1024。
ATB_SHARE_MEMORY_NAME_SUFFIX
共享内存命名后缀，多用户同时使用通信算子时，需通过设置该值进行共享内存的区分。
ATB_LAUNCH_KERNEL_WITH_TILING
tiling拷贝随算子下发功能开关。
ATB_PROFILING_TENSOR_ENABLE
- 0：不开启profilingtensor，profiling结果中不含有tensor信息。
- 1：开启profilingtensor，profiling结果中含有tensor信息。
ATB_MATMUL_SHUFFLE_K_ENABLE
Shuffle-K使能，默认开启。
0：关闭。
1：开启。
ATB_RUNNER_POOL_SIZE
加速库runner池中可存放runner的个数，支持范围0 ~ 1024，为0时不开启runner池功能。
- 算子库相关环境变量
表1 算子库相关环境变量说明 环境变量名
说明
ASDOPS_HOME_PATH
MindIE-ATB软件包安装后文件存储路径。
ASDOPS_OPS_PATH
算子库安装后文件存储路径。
ASDOPS_MATMUL_PP_FLAG
算子库开启使用PPMATMUL。
ASDOPS_LOG_LEVEL
算子库日志级别，支持trace、debug、info、warn、error、fatal，大小写无关。
ASDOPS_LOG_TO_STDOUT
算子库日志是否输出到控制台。
ASDOPS_LOG_TO_FILE
算子库日志是否输出到文件。
ASDOPS_LOG_TO_FILE_FLUSH
日志写文件是否刷新。
ASDOPS_LOG_TO_BOOST_TYPE
算子库对应加速库日志类型，默认“atb”。
ASDOPS_TILING_PARSE_CACHE_DISABLE
算子库tilingParse禁止进行缓存优化。
ASDOPS_LOG_PATH
算子库日志输出路径。
LCCL_DETERMINISTIC
LCCL确定性AllReduce(保序加)是否开启，0关闭，1开启。