模型性能测试

若为Atlas 800I A2 推理服务器请执行以下步骤。

进入容器后，执行以下命令，运行ChatGLM3-6B模型性能测试。“/home/weight/chatglm3-6b”为容器的模型权重路径。
```
cd /usr/local/Ascend/llm_model/tests/modeltest
bash run.sh pa_fp16 performance [[2048,2048]] 16 chatglm /home/weight/chatglm3-6b 8
```
模型性能测试时间大概2分钟，结束后回显如图1所示，代表模型性能测试成功。
图1 性能测试样例

若为Atlas 800 推理服务器（型号：3000）配置Atlas 300I Duo 推理卡请执行以下步骤。

进入容器后，执行如下命令，运行ChatGLM3-6B模型性能测试。“/home/weight/chatglm3-6b”为容器的模型权重路径。
```
cd /usr/local/Ascend/llm_model/tests/modeltest
bash run.sh pa_fp16 performance [[2048,2048]] 16 chatglm /home/weight/chatglm3-6b 4
```
模型性能测试时间大概5分钟，结束后回显如图2所示，代表模型性能测试成功。
图2 性能测试样例

父主题： 模型开箱