精度测试

精度测试样例如下所示，参数详细解释请参见输入参数。

benchmark \
--DatasetPath "/{数据集路径}/GSM8K" \
--DatasetType "gsm8k" \
--ModelName "qwen2-7b" \
--ModelPath "/{模型路径}/qwen2-7b" \
--TestType client \
--Http https://{ipAddress}:{port} \
--ManagementHttp https://{managementIpAddress}:{managementPort} \
--Concurrency 16 \
--MaxOutputLen 512 \
--TestAccuracy True

其中--TestAccuracy True参数是开启精度测试的开关。

测试结果如下图所示：

其中accuracy字段为精度测试结果。