参考文档:https://www.hiascend.com/document/detail/zh/mindie/10RC2/mindieservice/servicedev/mindie_service0281.html
mindie版本:1.0.rc2
环境准备好之后,engine推理模式的推理样例正常

Client推理模式遇到报错:
1、先启动mindieserver Daemon
2、 启动命令:(模型名称 路径和conf.json里面对齐了的)

SMPL_PARAM="{\"temperature\":0.5,\"top_k\":10,\"top_p\":0.9,\"typical_p\":0.9,\"seed\":1234,\"repetition_penalty\":1,\"watermark\":true,\"truncate\":10}"
benchmark --DatasetPath "/usr/local/Ascend/llm_model/tests/modeltest/dataset/full/GSM8K" --DatasetType "gsm8k" --ModelPath "/data/model_from_hf/Qwen2-7B-Instruct/" --ModelName "qwen2-7b" --TestType client --Http http://127.0.0.1:1025/ --Concurrency 3 --TaskKind stream --Tokenizer True --MaxOutputLen 512 --DoSampling True --SamplingParams $SMPL_PARAM
执行报错如下:

疑似数据读取问题,请大佬帮忙看看
参考文档:https://www.hiascend.com/document/detail/zh/mindie/10RC2/mindieservice/servicedev/mindie_service0281.html
mindie版本:1.0.rc2
环境准备好之后,engine推理模式的推理样例正常
Client推理模式遇到报错:
1、先启动mindieserver Daemon
2、 启动命令:(模型名称 路径和conf.json里面对齐了的)
SMPL_PARAM="{\"temperature\":0.5,\"top_k\":10,\"top_p\":0.9,\"typical_p\":0.9,\"seed\":1234,\"repetition_penalty\":1,\"watermark\":true,\"truncate\":10}"
benchmark --DatasetPath "/usr/local/Ascend/llm_model/tests/modeltest/dataset/full/GSM8K" --DatasetType "gsm8k" --ModelPath "/data/model_from_hf/Qwen2-7B-Instruct/" --ModelName "qwen2-7b" --TestType client --Http http://127.0.0.1:1025/ --Concurrency 3 --TaskKind stream --Tokenizer True --MaxOutputLen 512 --DoSampling True --SamplingParams $SMPL_PARAM
执行报错如下:

疑似数据读取问题,请大佬帮忙看看