mindformers中llama2-13B推理速度异常。
收藏回复举报
mindformers中llama2-13B推理速度异常。
t('forum.solved') 已解决
发表于2023-12-29 09:59:43
0 查看

【行业】:互联网

【服务器型号】:Atlas 800T A2

【版本信息】:

--CANN版本:CANN 7.0.rc1

--mindspore版本:2.2.0

--Python版本:Python3.9.18

【问题描述】:llama2大模型推理时前两个token输出速度特别慢,后续正常,是否可以进行优化。

cke_4786.png

【Offering】:推理开发

【期望解决时间】:2023年12月29日

我要发帖子