扩展更多特性
内存二次分配管理
用户通过AscendCL提供的内存管理接口申请内存后,若需二次分配管理,需关注各内存接口的约束,防止出现内存越界。
多Device切换
本节介绍多Device切换场景的关键接口及接口调用流程。
多模型串联推理
多Batch模型推理
队列方式模型推理
本节介绍如何基于队列加载模型、准备模型输入数据、获取模型推理输出数据。
异步模型推理
本节介绍异步推理接口如何与Callback配合使用,每隔一段时间下发一次Callback任务,获取前一段时间内的异步推理结果。
模型动态Shape输入推理
模型动态AIPP推理
Stream管理
本节介绍单Stream、多Stream的创建、销毁流程,以及多Stream同步等待的流程。
同步等待
本节介绍Device、Stream、Event在异步场景下的使用示例及关键接口。
AI Core异常信息获取
Profiling性能数据采集
溢出算子数据采集及分析
特征向量检索
共享Buffer管理