配套工具

MindIE中有配套的MindIE Benchmark工具，用来计算推理性能和精度，调用方式如下：

1. 启动Server服务，详情请参见链接。
2. 使用MindIE Benchmark计算性能和精度，样例如下所示。

   #通过MindIE Benchmark发送请求
   benchmark \
   --DatasetPath "/path/to/dataset/CEval" \
   --DatasetType "ceval" \
   --ModelName "llama3_70b" \
   --ModelPath "/path/to/weights/llama3-70b" \
   --TestType vllm_client \
   --Concurrency 1 \
   --Tokenizer True \
   --Http http://127.0.0.1:8111 \
   --TestAccuracy True \
   --MaxOutputLen 1

   在使用MindIE Benchmark进行性能测试时，需将DatasetPath及DatasetType换成对应性能数据集，并将TestAccuracy设为False。

   表1 参数说明

   参数名	参数解释
   DatasetPath	数据集路径。
   DatasetType	数据集名称。
   ModelName	模型名。
   ModelPath	模型权重路径。
   TestType	指定MindIE Benchmark运行模式为vLLM服务框架。
   Concurrency	并发数。
   Tokenizer	使用分词器。
   Http	用户设置的推理服务侦听IP和Port。
   TestAccuracy	“True”为精度测试，“False”为性能测试。
   MaxOutputLen	指定输出长度。

3. 精度计算结果如下图所示。

   

   

   MindIE Benchmark详细使用方法以及参数的介绍详情请参见《MindIE Service开发指南》的“MindIE Service组件 > MindIE Service Tools > MindIE Benchmark > 功能介绍”章节。