mindie的工具benchmark使用client模式报错
收藏回复举报
mindie的工具benchmark使用client模式报错
t('forum.solved') 已解决
发表于2024-09-12 09:49:59
0 查看

参考文档:https://www.hiascend.com/document/detail/zh/mindie/10RC2/mindieservice/servicedev/mindie_service0281.html

mindie版本:1.0.rc2

环境准备好之后,engine推理模式的推理样例正常

cke_3826.png

Client推理模式遇到报错:

1、先启动mindieserver Daemon

2、 启动命令:(模型名称 路径和conf.json里面对齐了的)

cke_16672.png

SMPL_PARAM="{\"temperature\":0.5,\"top_k\":10,\"top_p\":0.9,\"typical_p\":0.9,\"seed\":1234,\"repetition_penalty\":1,\"watermark\":true,\"truncate\":10}"   

benchmark --DatasetPath "/usr/local/Ascend/llm_model/tests/modeltest/dataset/full/GSM8K" --DatasetType "gsm8k" --ModelPath "/data/model_from_hf/Qwen2-7B-Instruct/" --ModelName "qwen2-7b"  --TestType client --Http http://127.0.0.1:1025/ --Concurrency 3  --TaskKind stream --Tokenizer True --MaxOutputLen 512  --DoSampling True --SamplingParams $SMPL_PARAM 

执行报错如下:

cke_36269.png

疑似数据读取问题,请大佬帮忙看看

我要发帖子