文档
注册
评分
提单
论坛
小AI

简介

概述

为加速模型算力释放,CANN(Compute Architecture for Neural Networks)提供了算子加速库(Ascend Operator Library,简称AOL)。该库提供了一系列丰富且深度优化的高性能算子API,更亲和昇腾AI处理器,调用流程如图1所示。开发者可直接调用算子库API使能模型创新与应用,以进一步提升开发效率和获取极致模型性能。

图1 API调用流程

接口列表

本文档针对不同领域的算子API阐述了具体的接口定义、功能描述、参数说明、约束限制和调用示例等,指导开发者快速上手调用算子API。此外,还提供不同框架IR(Intermediate Representation)定义的算子规格信息,方便开发者自行构建网络模型。

对于各领域算子接口或算子规格/清单中未审明支持的场景(如产品型号、数据类型、数据格式等),不推荐开发者使用,当前版本不保证其调用效果。

表1 AOL接口列表

API分类

说明

API支持度

基础接口

CANN基础和融合算子API调用时依赖的公共接口,如创建aclTensor、aclScalar、aclIntArray等。

当前版本支持该接口。

NN算子接口

Neural Network算子是CANN基础算子,接口前缀为aclnnXxx,覆盖TensorFlow、Pytorch、MindSpore、ONNX等常见框架的深度学习算法计算类型,包括Softmax、MatMul、Convolution等典型计算。

目前该类算子API在整个算子库中占最大比重。

Atlas 200/300/500 推理产品不支持该接口。

融合算子接口

融合算子接口前缀为aclnnXxx,提供了Flash Attention、MC2等高性能融合算子。

该类算子本质是将多个独立的基础“小算子”(如向量Vector、矩阵Cube等)融合成一个“大算子”,达到提升算子性能或内存收益的目的。

说明:
  • 除了本文档提供的融合算子,您还可以单击Link获取代码开放的融合算子。
  • 当前融合算子不支持使用昇腾虚拟化实例。

Atlas 200/300/500 推理产品不支持该接口。

Atlas 200/500 A2推理产品不支持该接口。

Atlas 训练系列产品不支持该接口。

DVPP算子接口

Digital Vision Pre-Processing算子是CANN基础算子,接口前缀为acldvppXxx,提供高性能视频/图片编解码、图像裁剪缩放等预处理API。

Atlas 200/300/500 推理产品不支持该接口。

Atlas 200/500 A2推理产品不支持该接口。

Atlas 训练系列产品不支持该接口。

Atlas 推理系列产品不支持该接口。

CANN算子规格说明

罗列了基于Ascend IR定义的算子信息。

当前版本支持该接口。

AI框架算子支持清单

罗列了基于ONNX框架原生IR定义的算子信息。

当前版本支持该接口。

罗列了基于TensorFlow框架原生IR定义的算子信息。

罗列了基于Caffe框架原生IR定义的算子信息。

Atlas A2训练系列产品/Atlas 800I A2推理产品不支持该接口。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词