华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
想求助一下目前在香橙派上推理过Qwen2.5-7B/DeepSeek-Distilled-7B的大家,推理速度大概是多少啊?看官方没有这样的推荐。
我自己测试下来大概是11.5(11~13)token/s,环境配置是:CANN 8.0.0 MindIE 1.0.0,在mindie里测试的
测试前打开了 export ATB_LLM_BENCHMARK_ENABLE=1
我要发帖子
想求助一下目前在香橙派上推理过Qwen2.5-7B/DeepSeek-Distilled-7B的大家,推理速度大概是多少啊?看官方没有这样的推荐。
我自己测试下来大概是11.5(11~13)token/s,环境配置是:CANN 8.0.0 MindIE 1.0.0,在mindie里测试的