300I DUO机器 mindie benchmark 测试 DeepSeek-R1-Distill-Qwen-32B
收藏回复举报
300I DUO机器 mindie benchmark 测试 DeepSeek-R1-Distill-Qwen-32B
t('forum.solved') 已解决
发表于2025-02-28 15:16:56
0 查看

可以正常启动daemon服务,但是性能测试无法输出内容

cke_1542.png

性能测试启动命令:

 

benchmark \ 

--DatasetPath "/usr/local/Ascend/atb-models/tests/modeltest/dataset/full/CMMLU" \ 

--DatasetType "mmlu" \ 

--ModelName "qwen2.5-32b" \ 

--ModelPath "/mnt/data/DeepSeek-R1-Distill-Qwen-32B/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B" \ 

--TestType engine \ 

--Concurrency 5 \ 

--MaxOutputLen 2048 \ 

--Tokenizer True 

 

环境:使用的镜像 swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

之前使用mindie R2 版本,可以正常跑性能测试,但是DS R1蒸馏系列模型不支持,所以换到mindie1.0.0。910b机器也出现同样问题,可以成功部署qwen2.5-72b-instruct,但是无法进行性能测试,报错信息也是一样的

我要发帖子