简介

概述

CANN（Compute Architecture for Neural Networks）提供了一系列丰富且经过深度优化、硬件亲和的高性能算子，可直接应用于AI业务，为网络在AI处理器上的加速计算奠定了基础。

算子库在CANN架构中的位置如图1所示，主要包含如下算子库：

• Math库：数值计算类算子库，提供不同维度的数值处理与计算算子，例如Add、Abs等，覆盖张量形态变换、基础数学运算、随机数生成等场景。
• NN库：神经网络类算子（Neural Network），提供深度学习模型中常见的计算算子，例如卷积、矩阵乘、激活函数、归一化等。
• CV库：计算机视觉类算子（Computer Vision），提供图像处理和目标检测算子，例如GridSample等。
• Transformer库：大模型计算类算子，提供Transformer核心算子，例如Attention类、LayerNorm类、通算融合类（简称MC2）等。
• Opbase库：所有算子库依赖的基础框架库，提供基础调度能力（如aclTensor创建/释放、workspace复用等）和公共依赖能力。

算子包括Device侧Kernel实现和Host侧调用两部分，为方便调用，每个算子都提供了相应的C语言API，方便用户在Host侧调用，简称单算子API（或者算子Host API），API调用流程如图2所示，更详细的流程请参见《应用开发 (C&C++)》中“CANN内置算子调用”。

本手册主要介绍算子IR（Intermediate Representation）规格信息、算子API文档，同时介绍不同AI深度学习框架（如TensorFlow、Caffe等）下IR定义的算子规格信息，支持开发者自行构建所需的网络模型。

使用说明

• 对于各类算子接口或算子规格中未声明支持的场景（如产品型号、数据类型、数据格式、数据维度等），不推荐开发者使用，当前版本不保证算子调用效果。
• 算子包说明：调用算子前，请确保已完成CANN Toolkit软件包、ops算子包安装，具体操作请参见《CANN 软件安装》。
• 算子故障处理：调用算子过程中可能会遇到各类异常，请参考“故障案例集 > 算子执行问题”，文档列举了典型/高频的算子执行问题，辅助开发者进行问题定位和解决。
• 昇腾虚拟化实例：当前融合算子不支持该功能。融合算子是指由多个独立基础“小算子”（如向量Vector、矩阵Cube等）融合而成，其功能与多个小算子等效，而性能通常更优，例如Flash Attention、通算融合算子（简称MC2算子）等。

使用向导

首次阅读本手册时，请先熟悉下表，它将帮助您快速了解算子库的使用场景、算子分类及头文件等信息。