环境变量参考

MindIE-RT环境变量说明

Transformer加速库环境变量说明

• 基础环境变量

  环境变量名	说明
  ATB_HOME_PATH	MindIE-ATB软件包安装后文件存储路径。

• 加速库相关环境变量

  环境变量名	说明
  ATB_STREAM_SYNC_EVERY_KERNEL_ENABLE	每个Kernel的Execute时进行同步。
  ATB_STREAM_SYNC_EVERY_RUNNER_ENABLE	每个Runner的Execute时进行同步。
  ATB_STREAM_SYNC_EVERY_OPERATION_ENABLE	每个Operation的Execute时进行同步。
  ATB_OPSRUNNER_SETUP_CACHE_ENABLE	是否开启SetupCache，当检查到输入和输出没有变化时，不做setup。
  ATB_OPSRUNNER_KERNEL_CACHE_TYPE	0：不开启。 1：开启本地缓存。 2：开启全局缓存。 3：同时开启本地和全局缓存。
  ATB_OPSRUNNER_KERNEL_CACHE_LOCAL_COUNT	本地缓存个数。
  ATB_OPSRUNNER_KERNEL_CACHE_GLOABL_COUNT	全局缓存个数。
  ATB_OPSRUNNER_KERNEL_CACHE_TILING_SIZE	tiling默认大小。
  ATB_OPSRUNNER_KERNEL_CACHE_PARAM_COMPARE_HASH	通过比较launch info的哈希值判断缓存是否命中
  ATB_PROFILING_ENABLE	是否开启profiling工具。
  ATB_WORKSPACE_MEM_ALLOC_ALG_TYPE	0：暴力算法。 1：block分配算法。 2：有序heap算法。 3：引入block合并（SOMAS算法退化版）。
  ATB_WORKSPACE_MEM_ALLOC_GLOBAL	0：不开启。 1：开启全局中间tensor内存分配。
  ATB_COMPARE_TILING_EVERY_KERNEL	每个Kernel运行后，比较运行前和后的NPU上tiling内容是否变化。
  ATB_HOST_TILING_BUFFER_BLOCK_NUM	Context内部HostTilingBuffer块数，通常使用默认值即可，可配置范围：最小128，最大1024。
  ATB_DEVICE_TILING_BUFFER_BLOCK_NUM	Context内部DeviceTilingBuffer块数，通常使用默认值即可，可配置范围：最小32，最大1024。
  ATB_SHARE_MEMORY_NAME_SUFFIX	共享内存命名后缀，多用户同时使用通信算子时，需通过设置该值进行共享内存的区分。
  ATB_LAUNCH_KERNEL_WITH_TILING	tiling拷贝随算子下发功能开关。
  ATB_PROFILING_TENSOR_ENABLE	0：不开启profilingtensor，profiling结果中不含有tensor信息。 1：开启profilingtensor，profiling结果中含有tensor信息。
  ATB_MATMUL_SHUFFLE_K_ENABLE	Shuffle-K使能，默认开启。 0：关闭。 1：开启。
  ATB_RUNNER_POOL_SIZE	加速库runner池中可存放runner的个数，支持范围0 ~ 1024，为0时不开启runner池功能。

• 算子库相关环境变量

  表1 算子库相关环境变量说明

  环境变量名	说明
  ASDOPS_HOME_PATH	MindIE-ATB软件包安装后文件存储路径。
  ASDOPS_OPS_PATH	算子库安装后文件存储路径。
  ASDOPS_MATMUL_PP_FLAG	算子库开启使用PPMATMUL。
  ASDOPS_LOG_LEVEL	算子库日志级别，支持trace、debug、info、warn、error、fatal，大小写无关。
  ASDOPS_LOG_TO_STDOUT	算子库日志是否输出到控制台。
  ASDOPS_LOG_TO_FILE	算子库日志是否输出到文件。
  ASDOPS_LOG_TO_FILE_FLUSH	日志写文件是否刷新。
  ASDOPS_LOG_TO_BOOST_TYPE	算子库对应加速库日志类型，默认“atb”。
  ASDOPS_TILING_PARSE_CACHE_DISABLE	算子库tilingParse禁止进行缓存优化。
  ASDOPS_LOG_PATH	算子库日志输出路径。
  LCCL_DETERMINISTIC	LCCL确定性AllReduce(保序加)是否开启，0关闭，1开启。