配置MindIE Benchmark
前提条件
已参考《MindIE安装指南》中 章节进行环境的安装与部署,MindIE Benchmark会随着MindIE的安装自动安装。MindIE Benchmark的Wheel包所在路径/{mindie-install-path}/mindie/{version}/mindie-service/bin/mindiebenchmark-{version}-py3-none-any.whl。
操作步骤
- 根据用户需要设置配置参数。进入MindIE Benchmark的安装路径$HOME/python3.10/site-packages/mindiebenchmark/config/config.json并打开“config.json”文件。
vim config.json
使用以下命令可查看MindIE Benchmark的安装路径。
pip show mindiebenchmark
config.json文件如下所示:
{ "INSTANCE_PATH": "./instance", # Benchmark结果保存路径 "LOG_PATH": "./instance", # 日志保存路径 "LOG_LEVEL": "DEBUG", # 日志等级 "CA_CERT": "/path/to/cacert.pem", # 验签证书文件路径 "KEY_FILE": "/path/to/cacert.pem.key", # 客户端私钥文件路径 "CERT_FILE": "/path/to/client.pem", # 客户端证书文件路径 "ENABLE_MANAGEMENT": false, # 管理端口使能 "MAX_LINK_NUM": 1000 # 服务端最大连接数(当前最大支持1000) }
表1 MindIE Benchmark配置参数说明 参数
参数类型
说明
INSTANCE_PATH
String
MindIE Benchmark结果保存路径,默认保存在./instance。
LOG_PATH
String
MindIE Benchmark日志保存路径,默认保存在./instance。
LOG_LEVEL
String
日志等级,默认为DEBUG。
其他等级为"INFO", "WARNING", "ERROR", "CRITICAL"
CA_CERT
String
验签证书文件路径,为MindIE Server服务端证书的验签证书/根证书。
当使用MindIE Benchmark的Client推理模式且MindIE Server的配置参数httpsEnabled为true时,必须配置。
KEY_FILE
String
客户端私钥文件路径。
当使用MindIE Benchmark的Client推理模式且MindIE Server的配置参数httpsEnabled为true时,必须配置。
CERT_FILE
String
客户端证书文件路径。
当使用MindIE Benchmark的Client推理模式且MindIE Server的配置参数httpsEnabled为true时,必须配置。
ENABLE_MANAGEMENT
bool
MindIE Benchmark管理端口使能。
MindIE Benchmark是否通过管理端口查询服务端健康状态。
MAX_LINK_NUM
Int
服务端最大连接数,默认为1000。当前支持最大连接数为1000,不可配置超过1000。
- 如果使用Client推理模式,则需要启动MindIE Server Endpoint服务。
使用以下命令启动MindIE Server Endpoint服务。
cd ${mindie-install-path}/mindie/{version}/mindie-service/ ./bin/mindieservice_daemon
显示如下则说明启动成功。
Daemon start success!
Engine推理模式不需要提前启动MindIE Server Endpoint服务。