特性说明
昇腾虚拟化实例功能:通过资源虚拟化的方式将物理机或虚拟机配置的NPU(昇腾AI处理器)切分成若干份vNPU(虚拟NPU)挂载到容器中,支持多用户共同使用一个NPU,提高资源利用率。借助容器进行资源隔离/分配/回收,保证运行环境稳定,便于管理多租户。
产品支持说明
产品系列 |
支持的场景 |
虚拟化方式 |
是否支持 |
---|---|---|---|
Atlas 推理系列产品 |
在物理机划分vNPU,挂载vNPU到容器 |
静态虚拟化 动态虚拟化 |
是 |
Atlas 推理系列产品
|
在物理机划分vNPU,挂载vNPU到虚拟机 |
静态虚拟化 |
是 |
Atlas 推理系列产品
|
在物理机划分vNPU,挂载vNPU到虚拟机,在虚拟机内将vNPU挂载到容器 |
静态虚拟化 |
是 |
Atlas 推理系列产品
|
在物理机直通NPU到虚拟机,在虚拟机内划分vNPU,再将vNPU挂载到虚拟机内的容器 |
静态虚拟化 动态虚拟化 |
是 |
Atlas 800 训练服务器 |
在物理机划分vNPU,挂载vNPU到虚拟机 |
静态虚拟化 |
是 |
Atlas 训练系列产品 |
在物理机划分vNPU,挂载vNPU到容器 |
静态虚拟化 动态虚拟化 |
是 |
Atlas A2 训练系列产品 |
× |
× |
否 |
Atlas A3 训练系列产品 |
× |
× |
否 |
Atlas 800I A2推理产品 |
× |
× |
否 |
A200I A2 Box 异构组件 |
× |
× |
否 |
Atlas 200/300/500 推理产品 |
× |
× |
否 |
Atlas 200I/500 A2 推理产品 |
× |
× |
否 |
使用说明
使用约束
- 物理NPU虚拟化出vNPU后,不再支持使用原物理NPU,只能使用vNPU。
- 一个vNPU只能被一个任务容器使用,不支持多个任务容器使用同一个vNPU。
- Atlas 300I Duo 推理卡上两个芯片的工作模式必须一致。即均使用虚拟化实例功能,或均使用整卡,不允许虚拟化部分整卡。请根据业务自行规划。
- 虚拟化实例模板是用于对整台服务器上所有NPU进行资源切分,不支持不同规格的标卡混插,如Atlas 300V Pro 视频解析卡。
Atlas 300V Pro 视频解析卡支持24G和48G内存规格,不支持这两种内存规格的卡混插进行虚拟化;不支持30个AICore的Atlas 训练系列产品和32个AICore的Atlas 训练系列产品混插。
- 当服务器为Atlas 训练系列产品时,仅NPU芯片工作在
AMP 模式时支持虚拟化功能,不支持SMP 模式。查询和设置NPU芯片工作模式操作步骤如下(确保服务器操作系统处于下电状态)。- 登录iBMC命令行。
- 执行ipmcget -d npuworkmode命令查询NPU芯片的工作模式,若为
AMP 模式,则无需切换。 - 执行ipmcset -d npuworkmode -v 0命令设置NPU芯片的工作模式为
AMP 模式。
查询和设置NPU芯片工作模式的详细介绍请参见《Atlas 800 训练服务器 iBMC用户指南(型号 9000)》中的“命令行介绍 > 服务器命令 > 查询和设置NPU芯片工作模式(npuworkmode)”章节。