--- title: AI系统专区-昇腾社区 description: AI系统包括从AI芯片、AI编译器、AI推理和训练框架等围绕AI算力底座的理论知识和技术进行展开，您将了解 AI 系统的来龙去脉，对AI算力底座形成系统性与层次化的理解，为后续AI核心原理和昇腾相关开发工作打好坚实基础。 keywords: AI,系统专区,昇腾社区,从芯片到模型,全面学习,系统知识,学习列表,探索关联资源 url: https://www.hiascend.com/edu/growth/ai-system section: (其他) --- # AI系统专区-昇腾社区 URL: https://www.hiascend.com/edu/growth/ai-system 描述: AI系统包括从AI芯片、AI编译器、AI推理和训练框架等围绕AI算力底座的理论知识和技术进行展开，您将了解 AI 系统的来龙去脉，对AI算力底座形成系统性与层次化的理解，为后续AI核心原理和昇腾相关开发工作打好坚实基础。 关键词: AI,系统专区,昇腾社区,从芯片到模型,全面学习,系统知识,学习列表,探索关联资源 AI系统专区 AI芯片体系结构 AI编译器知识 推理引擎 AI框架 学习路径 [了解详情](https://www.hiascend.com/edu/growth) AI系统专区 ## 从芯片到模型，全面学习AI系统知识 AI系统包括从AI芯片、AI编译器、AI推理和训练框架等围绕AI算力底座的理论知识和技术进行展开，您将了解 AI 系统的来龙去脉，对AI算力底座形成系统性与层次化的理解，为后续AI核心原理和昇腾相关开发工作打好坚实基础 AI芯片体系结构 3 课程 AI芯片概况，从芯片基础到 AI 芯片的范围都会涉及，芯片设计需要考虑上层 AI 框架的前端、后端编译、以及针对 AI 算法的实现角度等相关技术综合设计符合 AI 范式的芯片架构。 AI编译器知识 3 课程 介绍AI编译器原理，将站在系统设计的角度，思考在设计现代机器学习系统中需要考虑的编译器问题，特别是针对 AI 计算图的中间表达乃至后端优化。 推理引擎 7 课程 本路径将围绕深度学习推理系统的设计，实现与优化内容展开，同时还会在最后介绍部署和 MLOps 等内容。 AI框架 8 课程 介绍 AI 框架核心技术，首先介绍任何一个 AI 框架都离不开的自动微分，通过自动微分功能后就会产生表示神经网络的图和算子，然后介绍 AI 框架前端的优化，还有最近很火的大模型分布式训练在 AI 框架中的关键技术。 ## 学习列表 AI芯片体系结构 AI计算体系 《AI 计算体系》深入AI的计算模式，从而理解AI的“计算”需要什么。通过AI芯片关键指标，了解 AI 芯片要更好的支持“计算”，需要关注那些重点工作。最后通过深度学习的计算核心“矩阵乘”来看对“计算”的实际需求和情况，为了提升计算性能、降低功耗和满足训练推理不同场景应用，对“计算”引入 TF32/BF16，甚至是 FP8 等复杂多样比特位宽的数据精度格式。 5.0 1.5小时 3584 AI芯片基础 《AI 芯片基础》简单从 CPU 开始看通用逻辑架构（冯诺依曼架构），通过打开计算的本质（数据与时延）从而引出对于并行计算 GPU 作用和解决的业务场景，到目前最火的 AI 芯片 NPU。最后迈入超异构并行 CPU、GPU 和 NPU 并存的计算系统架构黄金十年。 5.0 1.6小时 1576 国内 AI 芯片 《国内 AI 芯片》深入地解读国内 AI 初创芯片厂商如国内第一 AI 芯片上市公司寒武纪、国内造 GPU 声势最大的壁仞科技、腾讯重头的燧原科技等科技公司的 AI 芯片架构。 5.0 2.8小时 1113 AI编译器知识 PyTorch 编译优化 本课程会以 AI 框架 PyTorch 2.0 为主线，把其主打特性 Dynamo 和 AOTAutograd 进行展开，并回顾 PyTorch 对图模式的尝试，了解现今最热门的 AI 框架如何进行编译器优化的。 5.0 1.3小时 190 【CANN8.0开源发布周】毕昇编译器开源开放 课程聚焦介绍： 1. 毕昇编译器整体架构 2. 核心优化能力等 4.8 11分钟 30 基于AscendNPU IR构建Triton扩展深度学习编译器DLCompiler 基于AscendNPU IR构建Triton扩展深度学习编译器DLCompiler：架构与高性能算子开发实践 4.5 2.0小时 43 推理引擎 推理系统 推理就是在训练好的模型结构和参数基础上，执行前向传播得到模型输出的过程。相对于训练而言，推理不涉及梯度和损失优化。推理的最终目标是将训练好的模型部署生产环境中，真正让 AI 能够运用起来。推理引擎可以将神经网络模型部署到云（Cloud）端或者边缘（Edge）端，并服务用户的请求。模型训练过程好比是传统软件工程中的代码开发的过程，而开发完的代码势必要打包，部署给用户使用，那么推理系统就负责应对模型部署的生命周期中遇到的挑战和问题 5.0 1.3小时 1107 模型转换 《模型转换》在这一节当中分为模型转换和模型优化，在整体架构图中属于离线模型转换模块。一方面，推理引擎需要把不同 AI 框架训练得到的模型进行转换；另外一方面需要对转换后的模型进行图优化等技术。 5.0 0.8小时 469 模型推理开箱五步法 昇腾基于实践总结推出推理开箱五步法，并针对其中的核心流程进行讲解，帮助学习者15分钟快速建立完整认知框架适合，详细操作请参照官方社区文档执行。 4.8 20分钟 990 企业级推理部署-中级 本课程是企业级推理部署的中级课程，旨在让开发者掌握如何利用MindIE LLM快速完成大模型推理部署的全流程。主要讲解内容如下：第一部分包含环境安装、MindIE底层依赖，以及各组件的安装配置方式；第二部分包含容器启动方式、模型依赖以及模型权重准备；第三部分将指导用户进行纯模型的推理测试。 4.9 1.7小时 407 模型量化压缩 本课程系统讲解基于华为昇腾平台及msModelSlim等工具链的模型量化技术。通过实战教学，使学员掌握模型轻量化部署的核心能力。 第一章：模型量化基础 介绍量化基本动机与收益，阐述FP32至INT8/INT4的数据精度体系，重点解析W8A8、W4A8及稀疏量化等主流方案的原理与适用场景。 第二章：量化方式介绍 以Qwen、LLaMA等主流大模型为例，演示W8A8、W4A8等标准量化流程，并涵盖稀疏量化、Flash Attention 3量化、KV Cache量化等高阶实战技术。 第三章：模型量化回退与精度调优 针对量化精度损失问题，系统讲解回退策略与调优方法，包括权重量化算法选择、异常值抑制与校准集优化等关键技术，通过案例提升实际问题解决能力。 完成本课程后，学员将深入理解量化原理，熟练运用昇腾工具链实施量化压缩，掌握精度调优方法，具备独立完成模型高效部署的专业能力。 为了更高效、准确地传递课程内容，我们采用了语音合成技术，降低人工录制环节的不性。目前AI语音可能还不够完美，我们将努力优化播讲效果，力求给您更好的学习体验，同时也欢迎大家推荐更好用的语音合成引擎——您的声音对我们非常重要！ 4.8 0.8小时 411 昇腾支持KVCache池化方案 本课程主要分享一个让AI大模型推理速度飞起来的关键技术——KVCache池化，以及昇腾在这一技术的支持方案。为了更高效、准确地传递课程内容，我们采用了语音合成技术，降低人工录制环节的不性。目前AI语音可能还不够完美，我们将努力优化播讲效果，力求给您更好的学习体验，同时也欢迎大家推荐更好用的语音合成引擎——您的声音对我们非常重要！ 4.6 25分钟 138 vLLM-ascend推理部署与调优 本课程主要讲解vLLM-ascend推理部署与调优，开发者通过课程的学习，能了解vLLM + vLLM-ascend整体规划和架构，进一步地掌握基于vLLM-ascend的端到端部署流程，了解常见推理参数及环境变量定义及使用方法，并能掌握精度/性能测试方法及数据采集方法，能够通过精度/性能数据分析进行问题定位。 为了更高效、准确地传递课程内容，我们采用了语音合成技术，降低人工录制环节的不性。目前AI语音可能还不够完美，我们将努力优化播讲效果，力求给您更好的学习体验，同时也欢迎大家推荐更好用的语音合成引擎——您的声音对我们非常重要！ 4.8 0.7小时 1347 AI框架 AI 框架基础 AI 框架基础内容介绍，从 AI 框架基础开始去介绍为什么我们要研究 AI 框架和 AI 系统，目前 AI 框架之争，也就是目前 AI 框架发展了快 10 年的整个历史过程，未来 AI 框架将会朝哪个方向演进。最后介绍用什么 AI 框架的编程范式主流的是声明式编程和命令式编程，其对应 AI 框架系统结构来说有什么区别。 5.0 0.8小时 1182 自动微分 《自动微分》AI 框架会默认提供自动微分功能，避免用户手动地去对神经网络模型求导，这些复杂的工作交给 AI 框架就好了，于是自动微自然成为分作为 AI 框架的核心功能。 5.0 1.4小时 472 计算图 AI 框架主要的职责是把深度学习的表达转换称为计算机能够识别的计算图，计算图作为 AI 框架中核心的数据结构，贯穿 AI 框架的大部分整个生命周期，于是计算图对于 AI 框架的前端核心技术就显得尤为重要。 5.0 1.4小时 490 昇腾+Pytorch的环境构建及基础应用 本节课介绍昇腾+Pytorch的环境构建及基础内容，包括环境安装、镜像构建、模型迁移样例、基础性能工具Profile的使用以及Tensorboard的使用和解读。 5.0 0.8小时 206 Pytorch小模型迁移与精度调优 本课程从推理场景入手，逐步给开发者介绍Pytorch迁移流程以及ONNX迁移流程，进一步地给开发者分享小模型性能精度定位分析方法，最后结合实际实践案例展示怎么解决小模型性能精度问题。通过课程学习，希望开发者掌握模型迁移适配到昇腾NPU上的方法，并掌握小模型性能精度定位分析方法，如何一步一步定位小模型的精度问题。 为了更高效、准确地传递课程内容，我们采用了语音合成技术，降低人工录制环节的不性。目前AI语音可能还不够完美，我们将努力优化播讲效果，力求给您更好的学习体验，同时也欢迎大家推荐更好用的语音合成引擎——您的声音对我们非常重要！ 4.8 0.5小时 513 昇思MindSpore：深度学习原理与实践 本课程以“零基础入门AI”为核心理念，采用 “理论+实践” 双轨并行的方式，从最基础的线性回归出发，引出深度学习概念，讲述深度学习的主要原理与流程，以一个简单的入门案例介绍清楚张量、优化器等核心概念。 同时，针对当前AI方向最火热的大模型领域，介绍其底层技术Transformer的结构，结合LoRA微调Qwen的案例，加深读者认识。 本课程无需读者对人工智能有任何前置知识，从最基础概念开始讲解，原理与实践相结合，适合作为AI入门课程。 5.0 2.5小时 806 MindSpore Transformers LLM训练迁移与实践 本节课介绍如何将Hugging Face迁移至MindSpore Transformers，包括权重转换、模型迁移、模型微调及预训练等内容。 4.9 20分钟 71 MindSpore Transformers LLM推理迁移与实践 本节课介绍MindSpore Transformers Mcore推理架构，以及MindSpore Transformers Hugging Face模型迁移&权重加载的步骤和方法并给出示例。 4.7 0.5小时 38 ## 探索关联资源 在线课程体系化的课程，轻松学昇腾、用昇腾 [了解详情](https://www.hiascend.com/edu/courses) 在线实验学以致用，在线实操，体验昇腾平台，让理论融入实践 [了解详情](https://www.hiascend.com/edu/experiment) 微认证一站式在线学习、实验、考试，获取核心技能认证 [了解详情](https://www.hiascend.com/edu/certification) 昇腾文档帮助开发者了解华为昇腾系列AI处理器软硬件，进行AI应用开发 [了解详情](https://www.hiascend.com/document)