mindie镜像---执行chatGLM2_6B模型推理功能,报错RuntimeError: NPU out of memory.
收藏回复举报
mindie镜像---执行chatGLM2_6B模型推理功能,报错RuntimeError: NPU out of memory.
t('forum.solved') 已解决
新人帖
发表于2024-05-24 11:40:21
0 查看

cke_213.png

镜像来源: AscendHub (huawei.com)

背景:

希望通过部署mindie镜像,以rest api的形式提供推理服务。使用的镜像如上图所示,即:1.0.RC1-300I-Duo-aarch64

问题:
按指引步骤执行到最后一步时报错:

python examples/run_pa.py --model_path ${CHECKPOINT} --input_texts "What is deep learning?"

cke_74080.png

本帖最后由 匿名用户2024/05/24 15:03:51 编辑

我要发帖子