昇腾社区首页
中文
注册
开发者
下载
基于华为昇腾CANN的从零手搓推理框架
基于华为昇腾CANN的从零手搓推理框架
高级
11.1小时
5
暂无评分
我要评分
本认证是基于华为昇腾CANN的从零手搓推理框架,通过认证,学习者将全面掌握推理框架的内部工作机制,并具备在华为昇腾平台上独立开发和优化推理框架的综合能力。

认证内容

章节时长(分钟)学习目标
1-1-推理框架概述35学习推理框架的核心概念、以及在AI部署中的关键作用,建立对推理框架的整体认知
1-2-基于昇腾计算语言Ascend CL的部署实例60了解华为昇腾CANN平台的基础架构和开发环境,掌握使用Ascend CL进行模型部署的基本流程和方法。
2-1-模型中间表示70了解模型中间表示以及数据容器设备管理的设计与实现方法
2-2-模型解释60掌握模型文件解析为模型中间表示的过程,包括自动构建中间表示和手动构造中间表示两种主要方式
2-3-构建模型推理的计算图45掌握如何从不带执行属性的IR,构造出带执行属性的完整计算图
2-4-运行时35从软件解耦的角度出发,了解如何设计出运行时,如何实现高效的计算图执行机制,以及运行时与其他模块的交互方式和接口设计
2-5-Ascend算子库75了解Ascend Op Library的基本概念、使用方法,以及在框架中如何高效封装Ascend Op Library
3-1-图优化65了解推理框架中图优化的核心概念、理论原理和关键算法,包括算子融合、常量折叠、死代码消除等优化技术,掌握优化技术在框架中的具体实现方法
3-2-内存优化45学习框架中内存优化的基本概念、优化原理和关键策略,包括内存池设计、内存复用、显存管理,了解在框架中如何实现高效的内存管理以降低内存占用
3-3-流水线并行优化25了解推理框架中流水线并行优化的设计思想、实现原理和关键技术,包括任务划分、同步机制等
3-4-基于Ascend C算子优化100基于Ascend C开发高性能算子,理解昇腾处理器架构、掌握Ascend C语法,并解决模型推理中的算子缺失问题
4-1-基于CANN的从零手搓推理框架推理部署实例50基于华为昇腾CANN平台的目标检测和分割模型推理部署实例展开,掌握从模型导入、解析、优化到最终部署的完整流程

认证学习

基于华为昇腾CANN的从零手搓推理框架课程
本课程是一套系统性的推理框架开发教程,旨在帮助学习者从零开始构建一个完整的深度学习推理框架,课程内容基于真实开源推理部署框架nndeploy进行讲解,确保所学知识直接具备实际应用价值和工程实践意义,并深入理解华为昇腾CANN平台的技术特点与应用方法。课程分为入门篇、功能篇、优化篇和案例篇四大模块,涵盖了推理框架的基础概念、核心功能模块实现、性能优化技术以及实际应用案例。通过本课程的学习,学习者将全面掌握推理框架的内部工作机制,包括模型中间表示、模型解释、计算图构建、运行时设计等核心组件;同时深入了解图优化、内存优化、并行优化和Ascend C算子优化等多种性能提升技术。课程基于实际开源项目nndeploy进行讲解,结合了实验和案例,确保学习者不仅理解理论知识,还能将所学应用于实际工程实践,最终具备在华为昇腾平台上独立开发和优化推理框架的综合能力。

通过本课程将掌握:

  • 入门篇:推理框架概述、案例部署等
  • 功能篇:模型中间表示、模型解释与推理等
  • 优化篇:图优化、内存优化,流水线并行等
  • 案例篇:从零手搓推理框架推理部署

课程

基于华为昇腾CANN的从零手搓推理框架

认证事项

  • 1.考试仅支持电脑端操作
  • 2.通过考试后需在10天内完成实名认证,逾期未完成实名认证将无法发放证书
  • 3.考试及实名认证通过后24小时,可前往个人中心-我的微认证查看证书编号或下载电子证书
  • 4.证书自颁布之日起2年内有效
  • 5.为了确保您考取的微认证真实有效,且能充分发挥其对您的积极作用,维护认证的公正性和可信度,微认证证书支持在社区侧公开查询,可前往微认证证书查询使用证书编号进行查询。感谢您选择参加本认证,祝您取得优异成绩!
  • 面向对象

    1、具备c++能力 2、想了解推理的端到端设计与实现 3、已通过本领域初级认证

  • 您将获得

    了解CANN上的算子、AscendIR等设计实现,并能够掌握模型推理的基本过程。

  • 购前须知
    1. 考试券一经售出,不予退换货
    2. 购买后,考试券预计10分钟以内自动同步到我的券码,订单信息请在我的订单下查看
    3. 如需了解更多购买事项,请查看购前须知