可以正常启动daemon服务,但是性能测试无法输出内容

性能测试启动命令:
benchmark \
--DatasetPath "/usr/local/Ascend/atb-models/tests/modeltest/dataset/full/CMMLU" \
--DatasetType "mmlu" \
--ModelName "qwen2.5-32b" \
--ModelPath "/mnt/data/DeepSeek-R1-Distill-Qwen-32B/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" \
--TestType engine \
--Concurrency 5 \
--MaxOutputLen 2048 \
--Tokenizer True
环境:使用的镜像 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
之前使用mindie R2 版本,可以正常跑性能测试,但是DS R1蒸馏系列模型不支持,所以换到mindie1.0.0。910b机器也出现同样问题,可以成功部署qwen2.5-72b-instruct,但是无法进行性能测试,报错信息也是一样的
可以正常启动daemon服务,但是性能测试无法输出内容
性能测试启动命令:
benchmark \
--DatasetPath "/usr/local/Ascend/atb-models/tests/modeltest/dataset/full/CMMLU" \
--DatasetType "mmlu" \
--ModelName "qwen2.5-32b" \
--ModelPath "/mnt/data/DeepSeek-R1-Distill-Qwen-32B/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" \
--TestType engine \
--Concurrency 5 \
--MaxOutputLen 2048 \
--Tokenizer True
环境:使用的镜像 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
之前使用mindie R2 版本,可以正常跑性能测试,但是DS R1蒸馏系列模型不支持,所以换到mindie1.0.0。910b机器也出现同样问题,可以成功部署qwen2.5-72b-instruct,但是无法进行性能测试,报错信息也是一样的