环境变量

MIES_INSTALL_PATH

MindIE Server的安装路径。

路径参数。

/usr/local/Ascend/mindie/latest/mindie-service

MIES_CONFIG_JSON_PATH

config.json文件的路径。

如果该环境变量存在，则读取该值；

如果不存在，则读取${MIES_INSTALL_PATH}/conf/config.json文件。

路径参数。

NA

MIES_CONTAINER_IP

容器IP地址，容器部署时配置。

EndPoint提供的业务面RESTful接口绑定的IP地址和多机推理场景GRPC通信采用的IP地址。多机推理时需要设置该环境变量。

IPv4地址。

NA

MIES_CONTAINER_MANAGEMENT_IP

EndPoint提供的管理面RESTful接口绑定的IP地址。

IPv4地址。

NA

MIES_SERVICE_MONITOR_MODE

推理服务化的在线指标监控开关。

• 0：关闭
• 1：开启

0

MIES_MEMORY_DETECTOR_MODE

内存状态打点使能开关。

• 0：关闭
• 1：开启

0

MIES_PROFILER_MODE

性能状态打点使能开关。

• 0：关闭
• 1：开启

0

HOST_IP

宿主机IP地址，宿主机部署时配置，当前商用仅支持容器场景，不建议设置。

IPv4地址。

NA

LD_LIBRARY_PATH

lib所在的路径。

路径参数。

${MIES_INSTALL_PATH}/lib:${LD_LIBRARY_PATH}

RANKTABLEFILE

ranktable json文件的绝对路径。

• 多机推理必须配置。
• 单机推理建议取消该环境变量（取消命令：unset RANKTABLEFILE）。如果设置该环境变量，文件内容必须正确有效（节点IP地址和device_ip必须正确），否则会导致模型初始化失败。

路径参数。

NA

ATB_OPERATION_EXECUTE_ASYNC

算子setup和execute异步执行开关。

• 0：关闭
• 1：开启

1

ASCEND_SLOG_PRINT_TO_STDOUT

CANNDEV日志打印控制开关。

• 1：打屏。
• 0：写入到“~/ascend”目录。

0

ASCEND_GLOBAL_LOG_LEVEL

CANNDEV日志级别。

• 0：debug
• 1：info
• 2：warn
• 3：error

3

ASCEND_GLOBAL_EVENT_ENABLE

设置应用类日志是否开启Event日志。

• 0：关闭Event日志。
• 1：开启Event日志。

0

TASK_QUEUE_ENABLE

推理使能TASK_QUEUE机制。

• 0：表示关闭TASK_QUEUE机制（异步下发），使算子下发处理变成同步，即Host下发一个，Device处理一个。
• 1：表示开启TASK_QUEUE机制。

1

HCCL_BUFFSIZE

控制两个NPU之间共享数据的缓存区大小。

大于或等于1，单位：MB。

120

LCCL_DETERMINISTIC

LCCL通信的确定性计算。

• 0：关闭
• 1：开启

一般为1，与模型相关。

HCCL_DETERMINISTIC

HCCL通信的确定性计算。多机推理场景下建议开启。

• false：关闭
• true：开启

一般为true，与模型相关。

EP_OPENSSL_PATH

EndPoint开启HTTPS认证后，通过该环境变量来指定openssl加载运行时so文件。该环境变量在EndPoint模块启动时自动设置，不需要用户手动设置。

路径参数。

${MIES_INSTALL_PATH}/lib

HSECEASY_PATH

EndPoint开启HTTPS认证后，使用HSECEASY工具对秘钥口令进行加密。该环境变量指定HSECEASY加载运行时so文件路径。

路径参数。

${MIES_INSTALL_PATH}/lib

OCK_LOG_LEVEL

后处理环境变量。

• TRACE

• DEBUG
• INFO
• WARN
• ERROR
• FATAL

ERROR

OCK_LOG_TO_STDOUT

后处理环境变量，加速库日志打印控制开关。

• 0：关闭。
• 1：开启。

0

MIES_CERTS_LOG_TO_FILE

证书管理工具环境变量，日志是否输出到文件。

• 0：输出到文件。
• 1：不输出。

0

MIES_CERTS_LOG_TO_STDOUT

证书管理工具环境变量，日志打印控制开关。

• 0：不打印日志。
• 1：打印日志。

1

MIES_CERTS_LOG_LEVEL

证书管理工具环境变量，日志级别。

• DEBUG
• INFO
• WARNING
• ERROR
• FATAL

INFO

MIES_CERTS_LOG_PATH

证书管理工具环境变量，日志路径。

路径参数。

/workspace/log/certs.log

MINDIE_LLM_CONTINUOUS_BATCHING

是否支持batch内结束请求退出，未结束请求继续推理。建议开启。

• 0：关闭
• 1：开启

1

MINDIE_LOG_TO_STDOUT

MindIE Service日志是否打印到标准输出。

• 0：不打印
• 1：打印

0

DYNAMIC_AVERAGE_WINDOW_SIZE

/metrics-json接口中，动态统计指标平均值的动态窗口大小。

正数

1000

MIES_SERVICE_MONITOR_MODE

是否开启推理服务化的在线监控指标，开启时才可以正常请求/metrics接口。

• 0：关闭
• 1：开启

0

MINDIE_LOG_TO_FILE

MindIE Service日志是否打印到文件。

• 0：不打印
• 1：打印，默认路径为“~/mindie/log/debug”。

1

LOCAL_CACHE_DIR

收到多模态请求后，通过该环境变量来指定图片的暂存路径。

路径参数。

${MIES_INSTALL_PATH}/bin/cache

MINDIE_CHECK_INPUTFILES_PERMISSION

文件权限校验开关（不设置默认开启文件权限校验）。

0：关闭文件权限校验。

NA

TOKENIZER_ENCODE_TIMEOUT

TOKENIZER Encode截断的超时时间，单位为秒。

[5, 300]

60

CONFIG_PATH

MindIE Benchmark接口路径参数。

MindIE Server的安装路径。

-

$MIES_INSTALL_PATH

MIES_PYTHON_BENCHMARK_PATH

Python接口路径参数。

MindIE Server的安装路径。

-

$MIES_INSTALL_PATH

MINDIEMS_LOG_LEVEL

用户可动态设置MindIE MS客户端输出的日志等级。

• DEBUG
• INFO
• WARNING
• ERROR
• CRITICAL

默认值为空，设置为表3中log_level参数的日志等级。

HOME

用户动态设置MindIE MS客户端msctl.json配置文件的路径。

存在可读取的{$HOME}/.mindie_ms/msctl.json文件，详情请参考表1。

• root用户：默认值为/root。
• 非root用户：默认值为/{$HOME}/{非root用户名}。

MINDIE_MS_SERVER_IP

MindIE MS服务端容器化部署时容器的Pod IP地址。

取值必须为部署的容器IP，需与3.a样例中"- name: MINDIE_MS_SERVER_IP"部分的格式保持一致。

默认为MindIE MS服务端容器化部署时容器Pod IP的地址。