Qwen2.5-7B-Instruct 推理速度
收藏回复举报
Qwen2.5-7B-Instruct 推理速度
新人帖
发表于2025-11-06 15:45:22
0 查看

想求助一下目前在香橙派上推理过Qwen2.5-7B/DeepSeek-Distilled-7B的大家,推理速度大概是多少啊?看官方没有这样的推荐。

我自己测试下来大概是11.5(11~13)token/s,环境配置是:CANN 8.0.0 MindIE 1.0.0,在mindie里测试的

cke_6469.png

测试前打开了 export ATB_LLM_BENCHMARK_ENABLE=1

我要发帖子