精度测试样例如下所示,参数详细解释请参见输入参数。
benchmark \ --DatasetPath "/{数据集路径}/GSM8K" \ --DatasetType "gsm8k" \ --ModelName "qwen2-7b" \ --ModelPath "/{模型路径}/qwen2-7b" \ --TestType client \ --Http https://{ipAddress}:{port} \ --ManagementHttp https://{managementIpAddress}:{managementPort} \ --Concurrency 16 \ --MaxOutputLen 512 \ --TestAccuracy True
其中--TestAccuracy True参数是开启精度测试的开关,输出结果中accuracy字段为精度测试结果。