使用mindie纯推理
收藏回复举报
使用mindie纯推理
t('forum.solved') 已解决
发表于2024-11-26 20:36:12
0 查看

使用mindie,用llama3.1-70b进行推理,

纯模型使用这里,执行了

cd ${ATB_SPEED_HOME_PATH}
bash examples/models/llama/run_pa.sh /data/Llama-3.1-70b-hf

出现如下问题

cke_11951.png

于是我将对应的报错通通注释掉,就没有这个问题了。但是还有下面的问题:

然后已经看不懂了。

cke_128.png

cke_30096.png

我要发帖子