环境变量

MIES_INSTALL_PATH

MindIE Server的安装路径。

路径参数。

/$HOME/Ascend/mindie/latest

MIES_CONTINUOUS_BATCHING

是否开启CB。

• 0：关闭CB
• 1：开启CB

未设置环境变量时，默认开启CB。

MIES_CONFIG_JSON_PATH

config.json文件的路径。

如果该环境变量存在，则读取该值；

如果不存在，则读取${MIES_INSTALL_PATH}/conf/config.json文件。

路径参数。

NA

MIES_PYTHON_LOG_TO_FILE

是否向日志文件中输出Python日志。

• 0：关闭
• 1：开启

0

MIES_PYTHON_LOG_TO_STDOUT

是否向控制台输出Python日志。

• 0：关闭
• 1：开启

0

MIES_PYTHON_LOG_LEVEL

Python日志级别。

• FATAL
• ERROR
• WARNING
• INFO
• DEBUG

INFO

MIES_PYTHON_LOG_PATH

Python日志保存路径。

路径参数。文件需要通过umask为0077指定为0600。

${MIES_INSTALL_PATH}/logs/pythonlog.log

MIES_RECOMPUTE_THRESHOLD

触发重计算的阈值，阈值越大越不容易触发重计算。

[0, 1)

0.5

MIES_CONTAINER_IP

容器IP地址，容器部署时配置。

EndPoint提供的业务面RESTful接口绑定的IP地址和多机推理场景GRPC通信采用的IP地址。多机推理时需要设置该环境变量。

IPv4地址。

NA

MIES_CONTAINER_MANAGEMENT_IP

EndPoint提供的管理面RESTful接口绑定的IP地址。

IPv4地址。

NA

HOST_IP

宿主机IP地址，宿主机部署时配置，当前商用仅支持容器场景，不建议设置。

IPv4地址。

NA

MIES_TOKENIZER_SLIDING_WINDOW_SIZE

控制流式推理中增量token解码方式的环境变量。

• 数值越低流式推理性能越好。
• 数值越高流式推理解码准确性越高。
• 不设置时准确度最高但性能最低。

当流式推理对比非流式推理性能没有显著劣化时无需关注此环境变量。

[0, 50]

5

LD_LIBRARY_PATH

lib所在的路径。

路径参数。

${MIES_INSTALL_PATH}/lib:$LD_LIBRARY_PATH

RANKTABLEFILE

ranktable json文件的绝对路径。

• 多机推理必须配置。
• 单机推理建议取消该环境变量（取消命令：unset RANKTABLEFILE）。如果设置该环境变量，文件内容必须正确有效（节点IP地址和device_ip必须正确），否则会导致模型初始化失败。

路径参数。

NA

ASCEND_SLOG_PRINT_TO_STDOUT

CANNDEV日志打印控制开关。

• 1：打屏。
• 0：落盘到“~/ascend”目录。

0

ASCEND_GLOBAL_LOG_LEVEL

CANNDEV日志级别。

• 0：debug
• 1：info
• 2：warn
• 3：error

3

ASCEND_GLOBAL_EVENT_ENABLE

设置应用类日志是否开启Event日志。

• 0：关闭Event日志。
• 1：开启Event日志。

0

TASK_QUEUE_ENABLE

推理使能多stream。

• 0：表示推理使能单stream。
• 1：表示推理使能多stream。

1

ATB_LOG_TO_FILE_FLUSH

日志写文件是否刷新。

• 0：关闭
• 1：开启

0

HCCL_BUFFSIZE

控制两个NPU之间共享数据的缓存区大小。

大于或等于1，单位：MB。

120

ASDOPS_LOG_TO_FILE

算子库日志是否输出到文件。

• 0：输出到文件。
• 1：不输出。

0

ASDOPS_LOG_TO_STDOUT

算子库日志打印控制开关。

• 0：不打印日志。
• 1：打印日志。

0

ASDOPS_LOG_LEVEL

算子库日志级别。

• FATAL
• WARN
• INFO
• DEBUG

FATAL

ASDOPS_LOG_TO_FILE_FLUSH

是否刷新日志写文件。

• 0：关闭
• 1：开启

0

ATB_LOG_TO_FILE

加速库环境变量，加速库日志是否输出到文件。

• 0：输出到文件。
• 1：不输出。

0

ATB_LOG_TO_STDOUT

加速库环境变量，加速库日志打印控制开关。

• 0：不打印日志。
• 1：打印日志。

0

ATB_LOG_LEVEL

加速库环境变量，加速库日志级别。

• TRACE

• DEBUG
• INFO
• WARN
• ERROR
• FATAL

ERROR

LCCL_DETERMINISTIC

LCCL通信的确定性计算。

• 0：关闭
• 1：开启

一般为1，与模型相关。

HCCL_DETERMINISTIC

HCCL通信的确定性计算。

• 0：关闭
• 1：开启

一般为1，与模型相关。

EP_OPENSSL_PATH

EndPoint开启https认证后，通过该环境变量来指定openssl加载运行时so文件。该环境变量在EndPoint模块启动时自动设置，不需要用户手动设置。

路径参数。

${MIES_INSTALL_PATH}/lib

HSECEASY_PATH

EndPoint开启https认证后，使用HSECEASY工具对秘钥口令进行加密。该环境变量指定HSECEASY加载运行时so文件路径。

路径参数。

${MIES_INSTALL_PATH}/lib

CONFIG_PATH

MindIE Server的安装路径。

MindIE Benchmark接口路径参数。

$MIES_INSTALL_PATH

MIES_PYTHON_BENCHMARK_PATH

MindIE Server的安装路径。

Python接口路径参数。

$MIES_INSTALL_PATH

MINDIEMS_LOG_LEVEL

用户可动态设置MindIE MS客户端输出的日志等级。

• DEBUG
• INFO
• WARNING
• ERROR
• CRITICAL

默认值为空，会设置为表2中的log_level日志等级。

HOME

用户动态设置MindIE MS客户端msctl.json配置文件的路径。

存在可读取的$HOME/.mindie_ms/msctl.json文件，详情请参考表2。

• root用户：默认值为/root。
• 非root用户：默认值为/home/{非root用户名}。

MINDIE_MS_SERVER_IP

MindIE MS服务端容器化部署时容器的Pod IP地址。

取值必须为部署的容器IP，需与创建MindIE MS服务端的Deployment配置文件样例中MINDIE_MS_SERVER_IP部分格式保持一致。

默认为MindIE MS服务端容器化部署时容器Pod IP的地址。