我使用了lmdeploy对Atlas 300I Duo 推理卡和Nvidia3090卡进行了推理测，发现推理速度仅为3090的1/10，这速度正常么？

Atlas 300I Duo推理卡，测试模型Llama-2-7b-chat-hf，测试脚本lmdeploy的脚本（python benchmark/profile_generation.py /root/Downloads/models/Llama-2-7b-chat-hf  --backend pytorch -pt 128 -ct 128 -c 16 -tr 1 -w 1 ）

结果如下：

Nvidia 3090，测试模型Qwen2-7B-Instruct，lmdeploy的测试脚本（python benchmark/profile_generation.py  /data/models/Qwen/Qwen2-7B-Instruct --backend pytorch -pt 128 -ct 128 -c 16 -tr 1 -w 1 ）

说明：本来计划都使用Qwen2进行测试的，但是Ascend 300I DUO推理卡仅支持mha的模型，所以使用同等参数替代