推理

表1 推理任务场景

安装场景选择

组件

任务类型

部署任务需要完成的操作

说明

全量部署场景或集群调度场景

Ascend Docker Runtime

Ascend Device Plugin

Volcano

NPU-Exporter(可选)

  • job(K8s的资源对象)
  • Deployment(K8s的资源对象)

可参考NPU推理任务中的说明熟悉基础流程,然后尝试后续章节,如:使用命令行或者通过编程的方式下发NPU推理任务。最后,还可以融入高级特性

组件列表中仅列出了安装部署场景中支持推理功能需要安装的组件的最小集。

设备纳管场景

Ascend Docker Runtime

Ascend Device Plugin(启动参数配置volcanoType为false)

NPU-Exporter(可选)