目前mindie提供的性能/精度测试工具,他们的使用场景和区别是什么?比如说客户使用自己的数据集,在部署服务化时如何测试性能和精度?未部署服务化的时候怎么测
1.llm_enginge_test
https://www.hiascend.com/document/detail/zh/mindie/1.0.RC1/mindieservice/servicedev/mindie_service0147.html
2.benchmark
https://gitee.com/ascend/MindIE-Service/tree/master/benchmark
3.modeltest
https://gitee.com/ascend/MindIE-LLM/tree/master/examples/atb_models/tests/modeltest
4.设置环境变量`ATB_LLM_BENCHMARK_ENABLE`
- 是否统计端到端和各token的性能数据
- 设置为1统计耗时,设置为0则不统计;默认不统计
5.https://codehub-g.huawei.com/z00619738/InferenceBenchmark/files?ref=master&filePath=README.md&isFile=true
1.llm_enginge_test
https://www.hiascend.com/document/detail/zh/mindie/1.0.RC1/mindieservice/servicedev/mindie_service0147.html
2.benchmark
https://gitee.com/ascend/MindIE-Service/tree/master/benchmark
3.modeltest
https://gitee.com/ascend/MindIE-LLM/tree/master/examples/atb_models/tests/modeltest
4.设置环境变量`ATB_LLM_BENCHMARK_ENABLE`
- 是否统计端到端和各token的性能数据
- 设置为1统计耗时,设置为0则不统计;默认不统计
5.https://codehub-g.huawei.com/z00619738/InferenceBenchmark/files?ref=master&filePath=README.md&isFile=true