chatglm2-6B推理速度过慢
收藏回复举报
chatglm2-6B推理速度过慢
t('forum.solved') 已解决
发表于2023-12-20 15:57:53
0 查看

chatglm2-6B推理一次4000秒,用的是910ProB的芯片,Gitee上的推理脚本:https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/ChatGLM2-6B#%E6%8E%A8%E7%90%86%E8%84%9A%E6%9C%AC 

是否有提升推理速度的优化方法。

用的昇腾镜像仓库的镜像ascend-pytorch:23.0.RC3-1.11.0-ubuntu18.04 

cke_2274.png

我要发帖子