whisper部署迁移
收藏回复举报
whisper部署迁移
t('forum.solved') 已解决
新人帖
发表于2024-06-18 15:24:44
0 查看

最近正在尝试着在NPU上部署原生的whisper模型。利用ascend-cann-toolkit下的pytorch_gpu2npu.py对whisper (https://github.com/openai/whisper/tree/main/whisper) 的主代码进行了迁移,但是在调用npu时有error:

  File "/home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/torch_npu/utils/module.py", line 66, in convert 

    return t.to(device, dtype if t.is_floating_point() or t.is_complex() else None, non_blocking) 

RuntimeError: CAUTION: The operator 'aten::empty.memory_format' is not currently supported on the NPU backend.

另外我发现有些算子并没有迁移成功,我将迁移相关的日志贴在附件里了。

环境的版本:

docker image: PyTorch2.1.0-cann7.0.0.alpha003_py_3.9-euler_2.8.3-64GB
torch version: 2.1.0

torch_npu version:  2.1.0+git68146bf

我要发帖子