昇腾社区首页
中文
注册

特性说明

虚拟化实例功能是指通过资源虚拟化的方式将物理机或虚拟机配置的NPU切分成若干份vNPU(虚拟NPU)挂载到容器中使用,虚拟化管理能够实现统一不同规格资源的分配和回收处理,满足多用户反复申请/释放资源的操作请求。

昇腾虚拟化实例功能的优点是可实现多个用户按需申请共同使用一台服务器,降低了用户使用NPU算力的门槛和成本。多个用户共同使用一台服务器的NPU,并借助容器进行资源隔离,资源隔离性好,保证运行环境的平稳和安全,且资源分配,资源回收过程统一,方便多租户管理。

关于虚拟化实例特性的详细介绍请参见虚拟化实例章节。

产品支持说明

表1 产品支持情况说明

产品系列

支持的场景

虚拟化方式

是否支持

Atlas 推理系列产品

在物理机划分vNPU,挂载vNPU到容器

静态虚拟化

动态虚拟化

Atlas 推理系列产品

  • Atlas 300I Pro 推理卡
  • Atlas 300V 视频解析卡
  • Atlas 300V Pro 视频解析卡
  • Atlas 300I Duo 推理卡

在物理机划分vNPU,挂载vNPU到虚拟机

静态虚拟化

Atlas 推理系列产品

  • Atlas 300I Pro 推理卡
  • Atlas 300V 视频解析卡
  • Atlas 300V Pro 视频解析卡
  • Atlas 300I Duo 推理卡

在物理机划分vNPU,挂载vNPU到虚拟机,在虚拟机内将vNPU挂载到容器

静态虚拟化

Atlas 推理系列产品

  • Atlas 300I Pro 推理卡
  • Atlas 300V 视频解析卡
  • Atlas 300V Pro 视频解析卡
  • Atlas 300I Duo 推理卡

在物理机直通NPU到虚拟机,在虚拟机内划分vNPU,再将vNPU挂载到虚拟机内的容器

静态虚拟化

动态虚拟化

Atlas 800 训练服务器

在物理机划分vNPU,挂载vNPU到虚拟机

静态虚拟化

Atlas 训练系列产品

在物理机划分vNPU,挂载vNPU到容器

静态虚拟化

动态虚拟化

Atlas A2 训练系列产品

-

-

Atlas A3 训练系列产品

-

-

Atlas 800I A2推理产品

-

-

A200I A2 Box 异构组件

-

-

Atlas 200/300/500 推理产品

-

-

Atlas 200I/500 A2 推理产品

-

-

使用说明

  • 如果使用动态虚拟化功能,请直接参见动态虚拟化章节,不需要提前使用npu-smi命令创建vNPU。
  • 如果使用静态虚拟化功能,需要先参见创建vNPU,再进行挂载到容器操作。
  • Atlas 推理系列产品的物理NPU虚拟化出vNPU后,模型在使用vNPU进行推理时可能会出现性能下降。如果出现性能下降的情况,建议使用vir04+vir04_3c或者vir04+vir02+vir02_1c的组合(对应的硬件资源可参见虚拟化规则章节中的“虚拟化模板”)划分vNPU。
  • 用户使用vNPU训练模型时,可以使用AOE调优工具进一步优化模型性能,详情请参见CANN AOE调优工具用户指南

使用约束

  • 物理NPU虚拟化出vNPU后,不支持再将该物理NPU挂载到容器使用,也不支持再将该物理NPU直通到虚拟机使用。
  • 一个vNPU只能被一个任务容器使用,不支持多个任务容器使用同一个vNPU。
  • Atlas 300I Duo 推理卡上两个芯片的工作模式必须一致。即均使用虚拟化实例功能,或均整卡使用。请根据业务自行规划。
  • 虚拟化实例模板是用于对整台服务器上所有NPU进行资源切分,不支持不同规格的标卡混插。如Atlas 300V Pro 视频解析卡支持24G和48G内存规格,不支持这两种内存规格的卡混插进行虚拟化;不支持30个AICore的Atlas 训练系列产品和32个AICore的Atlas 训练系列产品混插。
  • 当服务器为Atlas 训练系列产品时,仅NPU芯片工作在AMP模式时支持虚拟化功能,不支持SMP模式。查询和设置NPU芯片工作模式操作步骤如下(确保服务器操作系统处于下电状态)。
    1. 登录iBMC命令行。
    2. 执行ipmcget -d npuworkmode命令查询NPU芯片的工作模式,若为AMP模式,则无需切换。
    3. 执行ipmcset -d npuworkmode -v 0命令设置NPU芯片的工作模式为AMP模式。

    查询和设置NPU芯片工作模式的详细介绍请参见Atlas 800 训练服务器 iBMC用户指南(型号 9000)中的“命令行介绍 > 服务器命令 > 查询和设置NPU芯片工作模式(npuworkmode)”章节。