使用mindie测试模型推理,如何测试性能和精度?在客户数据集,部署服务化/未部署服务化等不同情况下选择何种方式?
收藏回复举报
使用mindie测试模型推理,如何测试性能和精度?在客户数据集,部署服务化/未部署服务化等不同情况下选择何种方式?
t('forum.solved') 已解决
新人帖
发表于2024-07-08 11:22:27
0 查看
目前mindie提供的性能/精度测试工具,他们的使用场景和区别是什么?比如说客户使用自己的数据集,在部署服务化时如何测试性能和精度?未部署服务化的时候怎么测

1.llm_enginge_test

https://www.hiascend.com/document/detail/zh/mindie/1.0.RC1/mindieservice/servicedev/mindie_service0147.html

2.benchmark

https://gitee.com/ascend/MindIE-Service/tree/master/benchmark

3.modeltest

https://gitee.com/ascend/MindIE-LLM/tree/master/examples/atb_models/tests/modeltest

4.设置环境变量`ATB_LLM_BENCHMARK_ENABLE`

- 是否统计端到端和各token的性能数据

- 设置为1统计耗时,设置为0则不统计;默认不统计

5.https://codehub-g.huawei.com/z00619738/InferenceBenchmark/files?ref=master&filePath=README.md&isFile=true

我要发帖子