精度测试

精度测试样例如下所示：

benchmark \
--DatasetPath "/{数据集路径}/GSM8K" \
--DatasetType "gsm8k" \
--ModelName "qwen2-7b" \
--ModelPath "/{模型路径}/qwen2-7b" \
--TestType client \
--Http http://{ipAddress}:{port} \
--ManagementHttp http://{managementIpAddress}:{managementPort} \
--Concurrency 16 \
--MaxOutputLen 512 \
--TestAccuracy True

其中--TestAccuracy True参数是开启精度测试的开关。

测试结果如下图所示，其中accuracy字段为精度测试结果。