华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
chatglm2-6B推理一次4000秒,用的是910ProB的芯片,Gitee上的推理脚本:https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/ChatGLM2-6B#%E6%8E%A8%E7%90%86%E8%84%9A%E6%9C%AC
是否有提升推理速度的优化方法。
用的昇腾镜像仓库的镜像ascend-pytorch:23.0.RC3-1.11.0-ubuntu18.04
我要发帖子
chatglm2-6B推理一次4000秒,用的是910ProB的芯片,Gitee上的推理脚本:https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/ChatGLM2-6B#%E6%8E%A8%E7%90%86%E8%84%9A%E6%9C%AC
是否有提升推理速度的优化方法。
用的昇腾镜像仓库的镜像ascend-pytorch:23.0.RC3-1.11.0-ubuntu18.04