配套工具

MindIE中有配套的MindIE Benchmark工具，用来在TGI线上部署前计算推理性能和精度，调用方式如下：

1. 启动Server服务，具体见环境准备。
2. 使用MindIE Benchmark计算性能和精度，参数说明请参见表1。

   # 环境变量设置
   source /usr/local/Ascend/mindie/set_env.sh
   
   #启动Benchmark
   benchmark --DatasetPath "/path/to/dataset/CEval" --DatasetType "ceval" --ModelName "llama3_70b" -ModelPath "/path/to/weights/llama3-70b" --TestType tgi_client --Concurrency 1 --Tokenizer True --Http http://127.0.0.1:12347 --TestAccuracy True --MaxOutputLen 1

   表1 参数说明

   参数名	参数解释
   DatasetPath	数据集路径。
   DatasetType	数据集名称。
   ModelName	模型名。
   ModelPath	模型权重路径。
   TestType	指定MindIE Benchmark运行模式为TGI服务框架。
   Concurrency	并发数。
   Tokenizer	使用分词器。
   Http	用户设置的推理服务侦听IP和Port。
   TestAccuracy	“True”为精度测试，“False”为性能测试。
   MaxOutputLen	指定输出长度。

   

   在使用MindIE Benchmark进行性能测试时，需将“DatasetPath”和“DatasetType”换成对应性能数据集，并将“TestAccuracy”设为“False”。

3. 精度计算结果如下图所示。

   

   

   MindIE Benchmark详细使用方法以及参数的介绍详情请参见《MindIE Service开发指南》的“MindIE Service组件 > MindIE Service Tools > MindIE Benchmark > 功能介绍”章节。