单算子API执行

- 除本章中单算子API执行方式调用单算子,AscendCL还提供了基于单算子模型执行方式的单算子调用方式,详细请参见单算子调用方式:单算子模型执行、单算子API执行。
- 对于接口文档中未审明支持的场景(如产品型号、数据类型、数据格式等),不推荐用户使用,当前版本暂不保证其调用效果。
本章介绍了支持以单算子API执行方式调用算子的接口,如表1所示,提供了详细的接口介绍,包括接口原型、功能描述、参数说明、调用示例等,指导用户快速上手调用算子API,以支撑AI业务的高效应用开发。
算子接口的调用流程请参见单算子API执行接口调用流程,其调用示例(以NN算子调用为例)请参见调用NN/融合算子接口示例代码。
接口分类 |
说明 |
接口获取 |
---|---|---|
NN算子接口 |
Neural Network算子,CANN内置的基础算子,接口前缀为aclnnXxx,主要覆盖TensorFlow、Pytorch、MindSpore、ONNX等框架中深度学习算法相关的计算类型,例如常见的Softmax、MatMul、Convolution等。 |
参考《算子加速库接口参考》中“NN算子接口”。 |
融合算子接口 |
CANN内置的融合算子,接口前缀为aclnnXxx,由多个独立的基础“小算子”(如向量Vector、矩阵Cube等)融合而成,大算子功能与多个小算子功能等价,且大算子性能收益往往优于小算子。例如常见的Flash Attention、通算融合算子(简称MC2算子)等。
说明:
除了本文档提供的融合算子,您还可以单击Link访问Gitee cann-ops-adv仓获取代码开放的融合算子。 当前融合算子不支持使用昇腾虚拟化实例。 |
参考《算子加速库接口参考》中“融合算子接口”。 |
DVPP算子接口 |
Digital Vision Pre-Processing算子,接口前缀为acldvppXxx,提供高性能视频/图片编解码、图像裁剪缩放等预处理API。 |
参考《算子加速库接口参考》中“DVPP算子接口”。 |
父主题: 单算子调用