性能测试

性能测试样例如下所示。

benchmark \
--DatasetPath "/{数据集路径}/GSM8K" \
--DatasetType "gsm8k" \
--ModelName "qwen2-7b" \
--ModelPath "/{模型路径}/qwen2-7b" \
--TestType client \
--Http http://{ipAddress}:{port} \
--ManagementHttp http://{managementIpAddress}:{managementPort} \
--Concurrency 1000 \
--MaxOutputLen 512

结果如下图所示：

性能测试结果主要关注FirstTokenTime、DecodeTime等token生成时延的指标和LPCT（latency per complete token，Prefill阶段平均每个token时延）、Throughput等测试吞吐量的指标。