--- title: infer-operator description: 昇腾社区是基于昇腾系列处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，包括昇腾系列处理器、系列硬件、CANN异构计算架构、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链。 keywords: 公开,集群调度组件,Infer,Operator,快速参考,应用场景,组件功能,组件上下游依赖 url: https://www.hiascend.com/developer/ascendhub/detail/infer-operator section: (其他) --- # infer-operator URL: https://www.hiascend.com/developer/ascendhub/detail/infer-operator 描述: 昇腾社区是基于昇腾系列处理器和基础软件构建的全栈 AI计算基础设施、行业应用及服务，包括昇腾系列处理器、系列硬件、CANN异构计算架构、AI计算框架、应用使能、开发工具链、管理运维工具、行业应用及服务等全产业链。 关键词: 公开,集群调度组件,Infer,Operator,快速参考,应用场景,组件功能,组件上下游依赖 昇腾镜像仓库 [了解详情](https://www.hiascend.com/developer/ascendhub) infer-operator ## infer-operator公开 最新版本：v26.1.0-openeuler24.032026/08/03更新大小：181 MB发布者：MindCluster33次下载 其他 镜像概述 镜像下载 镜像概述 镜像下载 ... # 集群调度组件 Infer Operator ## 快速参考 - Infer Operator 由MindCluster 代码仓 [了解详情](https://gitcode.com/Ascend/mind-cluster)维护 - 从哪里获取帮助 - MindCluster 代码仓 [了解详情](https://gitcode.com/Ascend/mind-cluster) - MindCluster 昇腾社区 [了解详情](https://www.hiascend.com/document/detail/zh/mindcluster/latest/clustersched/dlug/docs/zh/scheduling/01_introduction/00_overview.md) - 问题反馈 [了解详情](https://gitcode.com/Ascend/mind-cluster/issues) ## Infer Operator Infer Operator 是 MindCluster 集群调度组件之一，部署在管理节点上，是一个 Kubernetes Operator，用于部署和管理多角色合作的推理任务。Infer Operator 定义了 InferServiceSet、InferService 和 InstanceSet 三种 CRD，并实现了三种资源的控制器用于调谐三种资源实例状态。 ### 应用场景 MindCluster 提供 Infer Operator 组件，根据推理服务的实例配置，拉起推理服务，并支持推理实例的手动扩缩容。 ### 组件功能 - 创建推理实例 Workload 与 Service。 - 推理实例的手动扩缩容。 ### 组件上下游依赖 1. 基于用户配置的任务 YAML 创建推理实例 Workload。 2. Workload Controller 创建 Pod 后，Volcano 进行资源的最终选定。 3. 若 Workload 申请占用 NPU 卡，Ascend Device Plugin 获取 NPU 信息，完成设备的挂载。 ## 支持的 Tags 及 Dockerfile 链接 ### Tag 规范 自v26.1.0版本开始 Tag 遵循以下格式： ``` <版本>-<操作系统> ``` | 字段 | 示例值 | 说明 | | --- | --- | ---| | 版本 | v26.1.0 | Infer Operator 版本号 | | 操作系统 | ubuntu22.04 | Infer Operator 镜像操作系统 | ### Infer Operator 26.1.0 | Tag | Dockerfile | 镜像内容 | | --- | --- | ---| | v26.1.0-ubuntu22.04 | Dockerfile.ubuntu | Infer Operator v26.1.0 (基础镜像 Ubuntu 22.04) | | v26.1.0-openeuler24.03 | Dockerfile.openeuler | Infer Operator v26.1.0 (基础镜像 openEuler 24.03) | v26.0.0及以前版本的 Tag 遵循以下格式： ``` <版本> ``` | 字段 | 示例值 | 说明 | | --- | --- | ---| | 版本 | v26.0.0 | Infer Operator组件版本 | ### Infer Operator 26.0.0 | Tag | Dockerfile | 镜像内容 | | --- | --- | ---| | v26.0.0 | Dockerfile | Infer Operator v26.0.0 (基础镜像 Ubuntu 22.04) | ## 快速开始 ### 前置要求 #### 软件依赖 | 软件名称 | 支持的版本 | 安装位置 | 说明 | | --- | --- | --- | ---| | Kubernetes | 1.17.x~1.34.x（推荐使用1.19.x及以上版本） | 所有节点 | 了解 K8s 的使用请参见Kubernetes 文档 | | Volcano | 请参见Volcano 官网中对应的 Kubernetes 版本 | 管理节点 | Infer Operator 依赖 Volcano 进行资源调度 | | Ascend Device Plugin | 与 Infer Operator 同版本 | 计算节点 | 推理任务占用 NPU 时需要 | #### 硬件规格要求 | 名称 | 要求 | | --- | ---| | CPU | 2核 | | 内存 | 2GB | ### 在线获取 Infer Operator 镜像 1. 拉取官方镜像 拉取昇腾镜像仓库提供的 Infer Operator 镜像，替换 {tag} 为实际版本号。 ``` docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag} ``` 2. 修改镜像标签 为拉取的官方镜像重新打本地标签，统一本地镜像命名规范，方便后续运维管理。 ``` docker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag} infer-operator:{tag} ``` ### 本地构建（可选） #### v26.1.0 及更高版本本地镜像构建流程 示例场景：构建 linux-aarch64 架构、v26.1.0 版本、基于 Ubuntu 22.04 的 Infer Operator 组件镜像。 1. 获取对应架构的 Dockerfile 前往支持的 Tags 及 Dockerfile 链接 [了解详情](https://www.hiascend.com/#%E6%94%AF%E6%8C%81%E7%9A%84-Tags-%E5%8F%8A-Dockerfile-%E9%93%BE%E6%8E%A5)章节，打开目标版本对应的 Dockerfile.ubuntu 链接，保存文件至 aarch64 架构环境的本地目录。 2. 本地构建 Docker 镜像（禁用缓存，保证构建纯净度） ``` docker build --no-cache -t infer-operator:v26.1.0 ./ -f Dockerfile.ubuntu ``` 重要注意事项若 Docker 版本低于 18.09，或未手动开启 BuildKit，构建镜像时将无法读取 TARGETPLATFORM 变量，会造成镜像构建失败。 1. TARGETPLATFORM 为 Docker BuildKit 内置全局变量，用于识别当前构建目标平台，示例：linux/amd64、linux/arm64。 2. 该变量仅在 BuildKit 启用后自动注入；老旧 Docker 环境、默认BuildKit 的环境无法使用此参数。 3. 构建前可执行以下命令临时开启 BuildKit： ``` export DOCKER_BUILDKIT=1 ``` #### v26.0.0 及更早版本本地镜像构建流程 示例场景：构建 linux-aarch64 架构、v26.0.0 版本、基于 Ubuntu 22.04 的 Infer Operator 组件镜像。 1. 下载官方发布的组件安装包 ``` wget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip ``` 2. 解压安装包至自定义目录 ``` unzip Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64 ``` 3. 进入解压后的工作目录 ``` cd Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64 ``` 4. 本地构建 Docker 镜像（禁用缓存，保证构建纯净度） ``` docker build --no-cache -t infer-operator:v26.0.0 ./ -f Dockerfile ``` ### 部署 Infer Operator 1. 启动 Infer Operator 将 infer-operator-{version}.yaml 文件中镜像的`{tag}`替换为实际标签。 ``` kubectl apply -f infer-operator-{version}.yaml ``` 2. 验证部署 ``` kubectl get pods -A | grep infer-operator ``` 预期结果：对应命名空间下的 infer-operator 相关 Pod 状态为 Running。 ## 支持的硬件 当前支持的昇腾硬件型号说明，请参考官方文档：支持的产品形态和OS清单 [了解详情](https://gitcode.com/Ascend/mind-cluster/blob/master/docs/zh/scheduling/01_introduction/03_supported_product_models_and_os.md#%E6%94%AF%E6%8C%81%E7%9A%84%E4%BA%A7%E5%93%81%E5%BD%A2%E6%80%81%E5%92%8Cos%E6%B8%85%E5%8D%95) ## 许可证 查看这些镜像中包含的 Mind 系列软件的许可证信息 [了解详情](https://www.hiascend.com/zh/legal/softlicense)。 与所有容器镜像一样，预装软件包（Python、系统库等）可能受其自身许可证约束。 infer-operator 镜像版本 | 版本 | 文件大小 | 更新时间 | 架构 | 操作 | | --- | --- | --- | --- | ---| | v26.1.0-openeuler24.03 | 181 MB | 2026/08/03 | arm64x86_64 | 立即下载 | | v26.1.0-ubuntu22.04 | 102 MB | 2026/08/03 | arm64x86_64 | 立即下载 | | v26.0.1 | 95 MB | 2026/06/23 | arm64x86_64 | 立即下载 | | v26.0.0 | 95 MB | 2026/04/28 | arm64x86_64 | 立即下载 |