*本帖仅作为昇声入耳音频栏目，《支撑千亿级大模型的AI框架——昇思MindSpore是怎样的》（上）的音频概要，不作为正式文档
音频位置：昇腾学堂·活动广场——学堂研习社——昇声入耳
听得见的AI之声，看得见的AI之路，大家好，这里是华为面向昇腾AI开发者的特别企划栏目——《昇声入耳》，我是主持人Kedi，本期节目是《昇声入耳》的首期内容，在这里呢，将会与你一起学习人工智能的新知识，新视角，打开人工智能的新世界，相信你也可以在这里，认识昇腾，了解昇腾，听到昇腾更多的声音。
本期嘉宾介绍：
Selina——昇思MindSpore布道师 Selina，来自昇思MindSpore的研发团队
主持人：有人说，2023年是人工智能的跃迁之年。从疫情期间的口罩识别，到冬奥会的AI裁判，乃至近期爆火的ChatGPT，我们发现，人工智能其实已经和我们的生活息息相关，并且似乎开始引领了新的一轮变革。而作为重要元素之一的AI框架，也正面临全新的挑战与机遇。
今天的节目中，我们将与AI框架——昇思MindSpore初步相识，讨论昇思MindSpore的独特魅力之处，并展望其未来的发展。
AI框架科普
主持人：Selina老师，既然我们在最开始时提到了昇思MindSpore的定位是AI框架，那么我有个问题——AI框架究竟是什么？
Selina老师：说到AI框架，可能要先清楚AI，或者说，机器学习是什么。
主持人：我理解是，机器学习是让机器能够拥有人的智慧，从而代替人类完成一些任务？假如我们常说的神经网络、模型是一个小机器人，每一次学习其实就是一个纠错的过程。通过输入数据，告诉它自己认为的，和真实情况差距有多远。在这样不断重复的纠错学习下，小机器人的输出和实际情况差距不大了，那就说明它“学有所成”。
Selina老师：是的，是一个很形象的比喻。我们继续按照这个思路来聊聊AI框架是什么：不同的小机器人会适合不同的任务，但不可能每次制作机器人都从钻孔、焊接铁板这样最基础的工作开始。我们希望能够有一个工具箱，可以提供已经制作好的机械关节、摄像头、充电仓等等，这样就可以按照自己的设计选择对应型号的零件，直接组装起来。AI框架就是这样的一个工具箱，它里面会包含许多预制的接口，避免我们每次从0开始写代码，也就是我们常说的重复造轮子。
从更全面的角度来说，AI框架是起到了一个“承上启下”的作用。承上呢，就是向上抽象出一些接口，再向上使能模型应用；而启下，则代表框架下接硬件，能够屏蔽硬件的复杂性，使用户无感知；
主持人：很多刚入门的同学不了解AI框架的概念，可能是因为它不像网站平台，或者软件那样直观，但他的重要性确是不可忽视的。像老师刚刚所说，AI框架其实就像是一个人工智能的操作系统，上承算法应用、下接芯片使能，打通AI模型开发、训练、部署全流程能力。我们继续展开讨论，AI框架能做些什么呢？
Selina老师：整体来说，AI框架可在从数据预处理到模型部署全流程中，加快了科研/开发进展，支撑高性能稳定训练，降低推理部署门槛。
大家都知道，全流程常分为这几个阶段-前期数据预处理，模型开发，中期模型训练及评估，后期模型推理及部署。
具体来说，
- 在前期准备和模型开发中，AI框架提供了易用、丰富的编程接口API，开发者可以依托这些API快速完成数据前后处理和模型构建；
- 接着在模型训练和评估中，框架提供自动微分、自动并行等功能，实现全栈软硬协同实现高性能训练，
- 最后在模型推理及部署中，AI框架提供对不同硬件的接入能力，同时简化底层硬件技术细节，解决模型适配，部署压缩优化难的问题。
主持人：经过刚才的讨论，我们已经对AI框架是什么、能做什么有了初步的了解。那么业界有哪些AI框架呢？
Selina老师：业界大家熟知的框架有：Meta的PyTorch、Google的TensorFlow，以及昇思MindSpore。
主持人： MindSpore是一个怎样的AI框架呢？
Selina老师：其实准确来说的话，我们在2020年开源，从时间角度上来看，属于开源框架中的后来者，但我们作为后发框架的能力并不逊色。昇思MindSpore在出生时就是一个“原生支持大模型、科学计算创新的开源全场景AI融合框架”，以易开发、高效执行、全场景统一部署为三大目标，致力于增强开发易用性，提升原生支持大模型和AI+科学计算的体验。
简单来说，首先，小到我们日常使用的手机、耳机，大到终端、服务器，或者是云计算这种云服务，MindSpore是都可以做到统一部署的。同时，我们希望能够给开发者提供一个便捷的开发环境，尽可能简化流程，保证开发者用起来舒服，代码执行更加高效。
至于“原生支持大模型、科学计算”，其实就是说昇思MindSpore从创立之初，框架设计时就已经在大模型领域和科学领域进行了布局。
大模型方面，随着模型参数和数据规模的逐步增大，大模型的训练成为了一个很大的挑战：如何充分调度芯片算力，如何进行高效的训练，我们对这个挑战的解题便是昇思MindSpore的分布式并行能力。并且基于这个能力帮助业界完成了紫东。太初、鹏程系列等百亿、千亿级大模型。
科学计算方面，其实准确说应该叫做AI+科学计算，通过AI对传统的复杂问题求解进行加速，昇思MindSpore从这方面入手，将原本的AI计算引擎做了升级，转变为AI与科学计算的统一引擎，实现融合的统一加速。
因为是初步介绍嘛，这里就不对MindSpore的分布式并行能力以及AI+科学计算的细节进行展开了。
点赞
收藏
回复
分享
举报
*本帖仅作为昇声入耳音频栏目，《支撑千亿级大模型的AI框架——昇思MindSpore是怎样的》（上）的音频概要，不作为正式文档
音频位置：昇腾学堂·活动广场——学堂研习社——昇声入耳
听得见的AI之声，看得见的AI之路，大家好，这里是华为面向昇腾AI开发者的特别企划栏目——《昇声入耳》，我是主持人Kedi，本期节目是《昇声入耳》的首期内容，在这里呢，将会与你一起学习人工智能的新知识，新视角，打开人工智能的新世界，相信你也可以在这里，认识昇腾，了解昇腾，听到昇腾更多的声音。
本期嘉宾介绍：
Selina——昇思MindSpore布道师 Selina，来自昇思MindSpore的研发团队
主持人：有人说，2023年是人工智能的跃迁之年。从疫情期间的口罩识别，到冬奥会的AI裁判，乃至近期爆火的ChatGPT，我们发现，人工智能其实已经和我们的生活息息相关，并且似乎开始引领了新的一轮变革。而作为重要元素之一的AI框架，也正面临全新的挑战与机遇。
今天的节目中，我们将与AI框架——昇思MindSpore初步相识，讨论昇思MindSpore的独特魅力之处，并展望其未来的发展。
AI框架科普
主持人：Selina老师，既然我们在最开始时提到了昇思MindSpore的定位是AI框架，那么我有个问题——AI框架究竟是什么？
Selina老师：说到AI框架，可能要先清楚AI，或者说，机器学习是什么。
主持人：我理解是，机器学习是让机器能够拥有人的智慧，从而代替人类完成一些任务？假如我们常说的神经网络、模型是一个小机器人，每一次学习其实就是一个纠错的过程。通过输入数据，告诉它自己认为的，和真实情况差距有多远。在这样不断重复的纠错学习下，小机器人的输出和实际情况差距不大了，那就说明它“学有所成”。
Selina老师：是的，是一个很形象的比喻。我们继续按照这个思路来聊聊AI框架是什么：不同的小机器人会适合不同的任务，但不可能每次制作机器人都从钻孔、焊接铁板这样最基础的工作开始。我们希望能够有一个工具箱，可以提供已经制作好的机械关节、摄像头、充电仓等等，这样就可以按照自己的设计选择对应型号的零件，直接组装起来。AI框架就是这样的一个工具箱，它里面会包含许多预制的接口，避免我们每次从0开始写代码，也就是我们常说的重复造轮子。
从更全面的角度来说，AI框架是起到了一个“承上启下”的作用。承上呢，就是向上抽象出一些接口，再向上使能模型应用；而启下，则代表框架下接硬件，能够屏蔽硬件的复杂性，使用户无感知；
主持人：很多刚入门的同学不了解AI框架的概念，可能是因为它不像网站平台，或者软件那样直观，但他的重要性确是不可忽视的。像老师刚刚所说，AI框架其实就像是一个人工智能的操作系统，上承算法应用、下接芯片使能，打通AI模型开发、训练、部署全流程能力。我们继续展开讨论，AI框架能做些什么呢？
Selina老师：整体来说，AI框架可在从数据预处理到模型部署全流程中，加快了科研/开发进展，支撑高性能稳定训练，降低推理部署门槛。
大家都知道，全流程常分为这几个阶段-前期数据预处理，模型开发，中期模型训练及评估，后期模型推理及部署。
具体来说，
主持人：经过刚才的讨论，我们已经对AI框架是什么、能做什么有了初步的了解。那么业界有哪些AI框架呢？
Selina老师：业界大家熟知的框架有：Meta的PyTorch、Google的TensorFlow，以及昇思MindSpore。
主持人： MindSpore是一个怎样的AI框架呢？
Selina老师：其实准确来说的话，我们在2020年开源，从时间角度上来看，属于开源框架中的后来者，但我们作为后发框架的能力并不逊色。昇思MindSpore在出生时就是一个“原生支持大模型、科学计算创新的开源全场景AI融合框架”，以易开发、高效执行、全场景统一部署为三大目标，致力于增强开发易用性，提升原生支持大模型和AI+科学计算的体验。
简单来说，首先，小到我们日常使用的手机、耳机，大到终端、服务器，或者是云计算这种云服务，MindSpore是都可以做到统一部署的。同时，我们希望能够给开发者提供一个便捷的开发环境，尽可能简化流程，保证开发者用起来舒服，代码执行更加高效。
至于“原生支持大模型、科学计算”，其实就是说昇思MindSpore从创立之初，框架设计时就已经在大模型领域和科学领域进行了布局。
大模型方面，随着模型参数和数据规模的逐步增大，大模型的训练成为了一个很大的挑战：如何充分调度芯片算力，如何进行高效的训练，我们对这个挑战的解题便是昇思MindSpore的分布式并行能力。并且基于这个能力帮助业界完成了紫东。太初、鹏程系列等百亿、千亿级大模型。
科学计算方面，其实准确说应该叫做AI+科学计算，通过AI对传统的复杂问题求解进行加速，昇思MindSpore从这方面入手，将原本的AI计算引擎做了升级，转变为AI与科学计算的统一引擎，实现融合的统一加速。
因为是初步介绍嘛，这里就不对MindSpore的分布式并行能力以及AI+科学计算的细节进行展开了。