错误现象
使用 docker 启动容器后, 与 这个帖子的现象一致, 启动 ./bin/mindieservice_daemon 报错.
mindie 文件夹下能看到的日志:
在 export MINDIE_LLM_PYTHON_LOG_TO_STDOUT=1 后, 启动 ./bin/mindieservice_daemon, 仍然报相同的错误, 终端输出也没有多输出日志.
其他现象
npu-smi info 能正常打印设备信息.torchrun --nproc_per_node 8 --master_port 20038 -m examples.run_pa --model_path /home/user/models/Qwen2.5-7B-Instruct --input_text ["What's Deep Learning?"] --is_chat_model --max_output_length 128 可以正常生成推理结果.ASCEND_RT_VISIBLE_DEVICES=0 torchrun --nproc_per_node 1 --master_port 20038 -m examples.run_pa --model_path /home/user/models/Qwen2.5-7B-Instruct --input_text ["What's Deep Learning?"] --is_chat_model --max_output_length 128 可以正常生成推理结果.
环境
- 架构: aarch64
- 操作系统: kylin linux v10 (Lance)
- npu: 910B3
- 驱动版本: 24.1.rc2
- CANN 版本: 8.0.T63
- MindIE版本: 1.0.T71
复现流程
- 启动镜像
- 权限设置
- 修改配置文件
配置不论使用1卡还是8卡都是报相同的错.
- 启动推理引擎
点赞
收藏
回复
分享
举报
已解决
错误现象
使用 docker 启动容器后, 与 这个帖子的现象一致, 启动
./bin/mindieservice_daemon报错.mindie 文件夹下能看到的日志:
在
export MINDIE_LLM_PYTHON_LOG_TO_STDOUT=1后, 启动./bin/mindieservice_daemon, 仍然报相同的错误, 终端输出也没有多输出日志.其他现象
npu-smi info能正常打印设备信息.torchrun --nproc_per_node 8 --master_port 20038 -m examples.run_pa --model_path /home/user/models/Qwen2.5-7B-Instruct --input_text ["What's Deep Learning?"] --is_chat_model --max_output_length 128可以正常生成推理结果.ASCEND_RT_VISIBLE_DEVICES=0 torchrun --nproc_per_node 1 --master_port 20038 -m examples.run_pa --model_path /home/user/models/Qwen2.5-7B-Instruct --input_text ["What's Deep Learning?"] --is_chat_model --max_output_length 128可以正常生成推理结果.环境
复现流程
{ "ServerConfig": { // ... "httpsEnabled": false, // ... }, "BackendConfig": { "npuDeviceIds": [[0]], // ... "ModelDeployConfig": { "maxSeqLen": 2560, "maxInputTokenLen": 2048, // ... "ModelConfig": [ { // ... "modelName": "qwen2.5-7b-instruct", "modelWeightPath": "/home/user/models/Qwen2.5-7B-Instruct", "worldSize": 1, } ] } // ... } }配置不论使用1卡还是8卡都是报相同的错.