搭建实验环境一、实验目的 ●了解启智01开发者套件的结构、特点和基本使用方式。 ●熟悉完成实验的基本流程。 ●熟悉JupyterLab实验环境的使用方式。 ●了解ACL定义的编程模型，理解各类运行资源的概念及其相互关系，能够区分Host和Device的概念，并学会管理这两者各自的内存。 ●可以加载一个离线模型进行推理，并为推理准备输入输出数据结构。 ●了解模型的转换方式和常用的模型。二、启智01开发者套件介绍启智01 开发者套件是一款面向人工智能边缘计算开发的开发板，如图1所示，其主要特点包括：图1：启智01开发者套件 (1)强大的处理性能：搭载高性能的处理器和丰富的外设，支持复杂的应用开发。 (2)多种通信接口：支持以太网、type-C等多种常用通信方式，方便与其他设备进行数据传输和通信。 (3)丰富的外接设备：配备USB摄像头、USB摄像头、USB麦克风等，可以用于目标检测、智能语音助手等应用。启智01 开发者套件可以按照下面的方式进行连接，如图2所示，最后连接电源。电源接通后，开发者套件会自动启动。图2：启智01开发者套件连接图更详细的内容可以查看启智01文档。为了能够顺利进行实验，在进行实验之前，请读者确保已经启动开发者套件。三、登录开发者套件启动开发者套件后，显示器的屏幕中显示开发者套件登录界面，如3所示。图3：登录界面用户名为：HwHiAiUser，输入登录密码（默认为Mind@123），登录开发者套件后，进入主界面如图4所示。图4：主界面图形桌面的基本使用方法： (1)切换输入法：右键单击右上方工具栏中按钮，选择“input method”修改中英文输入法。 (2)打开浏览器：左键单击中下方工具栏按钮，可以打开Firefox Web Browser。 (3)打开终端：左键单击中下方工具栏按钮，打开终端。 (4)打开网络：右键单击右上方工具栏按钮，选择Enable Networking或Enable Wi-Fi。四、使用浏览器从在线课程平台领取任务在线课程平台是用于教师在线布置实验任务，并统一管理学生提交作业的平台。 1.读者通过浏览器访问平台，可以打开平台的登录页面。注意，如果读者使用的是校园网或局域网中的平台，需要从平台管理员处获得 URL。 2.在登录页面中，读者输入用户名和密码，点击“登录”按钮，可以登录平台。 3.先在购买启智01开发者套件的附赠卡片上查看邀请码，然后在平台页面中，单机右上角的图标，在弹出的菜单中选择“公开课邀请码”菜单项，在打开的页面中输入已获取的邀请码，然后点击“加入课程”按钮，会自动打开已加入的课程详情页面。提示：如果教师已将学生加入该课程，登录成功后，在“课程”列表页面中，可以找到启智01人工智能实训课。点击此课程的链接，可以进入该课程的详细信息页面。 4.在课程的详细信息页面中，可以查看课程描述信息，该信息对于完成实验十分重要，建议读者认真阅读。 5.在左侧导航中点击“课时”链接，可以打开课时列表页面。 6.在课时列表中找到本次实验要完成的课时内容，下载或在线查看当前课时提供的课件，在课件中主要包含有实验指导书，在实验指导中包含有完成本次实验的任务要求及其它的相关内容。 7.在课时列表中找到本次实验对应的任务，点击右侧的“领取任务”按钮，可以进入 “领取任务”页面。 8.在“领取任务”页面填写“新建项目名称”和“新建项目路径”，然后选择“项目所在的群组”，点击“领取任务”按钮后，可以创建个人项目用于完成本次实验，并自动跳转到该项目所在的页面。提示：在“领取任务”页面中，“新建项目名称”和“新建项目路径”这两项的内容可以使用默认值，如果选择的群组中已经包含了名称或者路径相同的项目，就会导致领取任务失败，此时需要修改新建项目名称和新建项目路径的内容。在新建的个人项目页面中，包括左侧的导航栏、项目信息、文件列表等，如图5所示。图 5：领取任务后得到的个人项目页面 9.点击图5红色方框中的按钮，可以复制个人项目的 URL，在本实验后面的练习中会使用这个URL将此项目克隆到读者计算机的本地磁盘中。五、准备实验环境 1.在启智01的开发者套件的图形化桌面中，点击Home文件夹，如图6所示，打开home目录下当前用户所在文件夹的内容，然后点击samples文件夹。图 6：Home文件夹 2.在打开的samples文件夹中，单击鼠标右键，在弹出的右键菜单中，选择“Create Folder...”菜单项，弹出的Create new Folder窗口。 3.在弹出的Create new Folder窗口中，Enter the name对应的输入框中输入 “qizhi01”，然后，点击“Create”按钮，可以看到在Samples文件夹中已经创建了一个新文件夹qizhi01。 4.点击 qizhi01 文件夹，在打开的文件夹中，单击鼠标右键，在弹出的菜单中选择“Open Terminal Here”菜单项，打开Terminal窗口。 5.在打开的Terminal窗口中，输入 git clone xxx 命令，其中，xxx需要替换为上一步复制的URL，然后按回车，接着根据提示输入在课程平台已注册的用户名和密码，可以将项目克隆到本地。 6.克隆成功后，关闭Terminal窗口。 7.在qizhi01文件夹中，点击克隆项目后新创建的文件夹，如果当前课时中包含模型文件（如：.onxx格式或.om格式的模型文件等）或者资源文件（如：.wav、.mp4、.ttf、.ttc等），需要下载这些文件，下载后按照任务的要求将这些文件复制到当前文件夹下或者该文件夹下的子文件夹中。 8.在克隆项目后新创建的文件夹中，单击鼠标右键，在弹出的菜单中选择“Open Terminal Here”菜单项，打开Terminal窗口。 9.打开Terminal窗口中，输入su root命令，按回车，根据提示输入root用户的密码（Mind@123）并按回车，注意：在输入密码时是没有回显的。 10.继续在Terminal窗口中输入chmod +x start_jupyterlab.sh命令并按回车键，可以给start_jupyterlab.sh脚本添加可执行权限。 11.继续在Terminal窗口中输入./start_jupyterlab.sh命令并回车键，JupyterLab服务启动后，会在浏览器中自动打开JupyterLab实验环境。提示：如果没有自动打开JupyterLab实验环境，可以在Terminal窗口的输出信息中，选中http://127.0.0.1:8888/lab?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx这一行信息的内容(x表示一个数字)，如图7所示，单机鼠标右键，在弹出的菜单中选择“Open Link”菜单项，并按回车，可以在浏览器中打开JupyterLab的实验环境。图 7：打开JupyterLab的URL地址信息六、Jupyter Lab介绍 JupyterLab 的窗口布局 JupyterLab 界面由一个包含文档和活动选项卡的主工作区、一个可折叠的左侧边栏以及一个菜单栏组成。左侧边栏包含文件浏览器、运行终端和内核的列表、扩展管理等。 JupyterLab 会话始终位于一个工作区中，在工作区中包含有 JupyterLab 的状态，包括：当前打开的文件、应用区域和选项卡的布局等。JupyterLab 的窗口布局由下面的若干元素组成： 1.菜单栏 JupyterLab 顶部的菜单栏包含顶级菜单，这些菜单显示了JupyterLab中可用的操作及其快捷键。默认的菜单包括： (1)File：与文件和目录相关的操作。 (2)Edit：与编辑文档和其他活动相关的操作。 (3)View：改变 JupyterLab 外观的操作。 (4)Run：在不同活动中运行代码的操作，例如Jupyter Notebook和控制台。 (5)Kernel：管理内核操作，其中，内核是用于运行代码的独立进程。 (6)Tabs：停靠面板中打开的文档和活动的列表。 (7)Settings：常用设置和高级设置编辑器。 (8)Help：JupyterLab 和内核帮助链接的列表。 2.左右侧边栏 (1)左侧边栏左侧边栏位于侧边栏的左侧，包含许多常用的选项卡，读者可以在不同的视图之间进行切换。包括：文件浏览器、主工作区的选项卡列表、运行中的内核与终端列表、目录表和扩展管理器等，如图8所示。图8：左侧边栏 (2)右侧边栏在右侧边栏中主要包括：属性检查器和调试器，如图9所示。图9：右侧边栏在 JupyterLab 中，用于在选项卡之间切换的列称为活动栏。可以通过在视图菜单中选择“显示左侧边栏”或“显示右侧边栏”或点击活动侧边栏选项卡来折叠或展开侧边栏。其中，选项卡的位置可以通过上下文菜单在左侧边栏和右侧边栏之间切换。 3.主工作区 JupyterLab 的主工作区允许读者将文档（Notebook、文本文件等）和其他活动（终端、代码控制台等）排列成可调整大小或细分的选项卡面板。将选项卡拖动到选项卡面板的中心，可以将该选项卡移动到该面板。通过将选项卡拖动到面板的左侧、右侧、顶部或底部，可以细分选项卡面板：工作区有一个当前活动。当前活动的选项卡用彩色顶边标记（默认情况下为蓝色）。 4.运行终端和内核列表在运行终端和内核列表面板列出了主工作区中打开的文档或活动（如图10所示），同样的信息也可以在选项卡菜单中找到。通常，在不关闭主工作区中其他选项卡的情况下专注于单个文档或活动是很有用的。简易界面模式可以实现这一点，同时可以让读者轻松返回到主工作区的多活动布局。可以通过视图菜单切换简易界面模式来实现。图10：运行终端和内核列表 5.上下文菜单在JupyterLab 的许多面板中，如Jupyter Notebook、文本文件、代码控制台和选项卡，都有上下文菜单，可以通过右键单击元素来进行访问。对于浏览器的原生上下文菜单，可以通过按住 Shift 键并右键单击来访问。 6.搜索 JupyterLab提供一个高级内置搜索插件，可用于在Jupyter Notebook或其他文档中查找文本，默认情况下可以使用Ctrl+F快捷键。 JupyterLab 的使用技巧（选做） 1.代码提示如果读者需要安装一个第三方库用于测试，可以在扩展名为ipynb的Notebook文件的单元格中输入!pip install 第三方库的名称（例如：!pip install numpy），然后按Tab即可看到代码提示。 2.查看指定函数的文档注释在扩展名为ipynb的Notebook文件的单元格中调用标准库函数所在的行，按Shift + Tab即可看到该函数的文档注释。 3.文档多窗口读者的屏幕一般都是比较大的，这个功能特别适合左边窗口实验代码，右边看教程文档的情景。在主工作区中，使用鼠标选中文档的标签栏进行拖动，看到左右或上下的分割线后松开鼠标，可以看到文档已经拖放到了指定的位置。这样，在一个窗口中就可以查看多个文档的内容了。 4.cell可以被拖拽到新的位置在扩展名为ipynb的Notebook文件中，使用鼠标选中一个cell（此时鼠标的形状为十字架）进行拖动，鼠标的形状为小加号，当拖动到指定位置后松开鼠标，可以cell的位置已经更新了。 5.随时启动新的终端交互在主工作区的顶部文档标题标签栏的最右侧点击“+”按钮，可以在主工作区打开Launcher窗口，点击“Terminal”图标，可以打开终端窗口。可也以使用同样的方式打开多个终端窗口进行交互。 6.界面和代码主题 JupyterLab默认提供了黑暗和明亮两种主题，读者可以自由使用。可以选择“Settings”菜单中的“Theme”菜单项，在弹出的子菜单中对不同风格的界面或代码主题进行切换。七、实验内容查看任务要求任务（一）：求两个整数的和在扩展名为ipynb的Notebook文件中，在第一个单元格中定义求和函数，给出该函数的实现；在第三个单元格中调用已定义的求和函数，首先调用求和函数计算1与2的和，接着再次调用求和函数计算第一次调用返回的结果与3的和，最后输出计算结果。查看项目中的文件在左侧边栏中点击文件浏览器，可以查看当前项目中包含的文件，如表11所示。文件名称功能 main.ipynb 在扩展名为ipynb文件中，包含有实验源代码，读者可以根据实验指导书中的任务要求，在该文件中，编写代码，完成实验。其它文件模型文件和在项目中使用的资源文件，如：图片、视频、文本、字体等。 .gitignore 在使用git进行提交时需要忽略的文件。表11：项目中的文件列表 3.2 阅读实验源代码该实验主要包含了main.ipynb文件，该文件的格式是Jupyter Notebook，在文件浏览器中双击main.ipynb文件，在主窗口中打开了该文件。在main.ipynb文件中包含了两个单元格，在第一个单元格中定义了求和函数，在第二个单元格中调用求和函数，并输出求和的结果。 3.3 编程实现编写代码 1.根据实验的要求先在第一个代码单元格中，定义一个求两个数字和的函数，如表12所示: def add(a, b): res = a + b return res 表12：定义求和函数提示：可以使用以下方法添加一个新的代码单元格，点击工具栏上的“+”按钮，可以添加一个新的单元格。如果误删除单元格及其代码，可以选择“Edit”菜单中的“Undo Cell Operation”菜单项，可以恢复已删除的单元格。 1.在第二个代码单元格中的代码，先调用add函数求两个数的和，接着再调用add函数将和与第三个数相加，然后使用print函数将结果输出，如表13所示： if __name__ == "__main__": print("hello world) result = add(1, 2) result2 = add(result, 3) print(result, result2) 表13：调用求和函数并输出结果运行项目当读者编写完源代码后，就可以运行项目，查看输出的结果是否正确，方法是：在“RUN”菜单中选择“Run All Cell”，JupyterLab 就会开始运行所有单元格中的程序，并会在对应单元格的下方输出结果。提示：1. 如果读者只关注中间某一个单元格中程序的运行结果，并且该单元格中的程序与前面单元格中的程序无关联，可以先选中该单元格（选中后该单元格的边框颜色变为蓝色，高亮显示），在“RUN”菜单中选择“Run Selected Cell”（快捷键是 Shift+Enter），运行该单元格中的源代码，并在下方输出结果。 2.如果该单元格中的程序与前面单元格的程序相关联，需要先运行前面单元格的程序，然后在运行本单元格的程序，否则，仅运行本单元格中的程序会报错。解决语法错误在执行程序后，会显示出错误信息，说明在源代码中存在语法错误，这些错误的提示信息包括：单元格的序号、错误的行号、错误的位置和错误的原因，并且这些提示信息是使用背景色为浅红色，高亮显示出来的，如图14所示。修改程序后，继续执行，直到执行成功。图14：错误提示信息调试项目如果读者发现程序运行的结果与预想的结果不一致，或者程序存在异常行为（例如死循环、数组越界等情况），说明源代码中存在逻辑错误（不是语法错误）。此时，读者可以使用调试功能查找产生逻辑错误的原因。 JupyterLab 提供了一个功能强大的调试器工具，使用此调试器可以观察程序的运行时行为并确定逻辑错误的位置，还可以中断程序的执行，检查代码或者计算和编辑程序中的变量。为了顺利进行后续的实验，建议读者一定要学会并灵活使用这些调试功能。 1.使用支持内核的调试器首先，需要检查内核是否支持调试功能。如果支持，JupyterLab右上角的bug图标（蓝色方框中的图标）将被启用，如图15所示。图15：内核支持调试器提示：如果内核不支持调试功能，JupyterLab右上角的bug图标处于不可用状态，如图16所示，需要选择“Kernel”菜单中的“Change Kernel...”菜单项，在弹出的Select Kernel窗口中，选择Python 3(ipykernel)项，如图17所示，然后点击“Select”按钮，JupyterLab右上角的bug图标处于可用状态，如图15所示。图16：内核不支持调试器图17：切换内核 2. 启用调试器在JupyterLab中，启用调试器可以通过切换右上角的bug按钮来启用。启用了调试功能后，就可以添加断点并调试代码，如图18所示。图18：启用调试器 3.添加断点在第一个代码单元格，单击第二行（或第三行）上的起始位置来添加一个断点，如图19所示。图19：添加断点 4.启动调试光标定位在第二个单元格中，在主工作区的顶部点击Run按钮，如图18所示，执行第一个单元格中的代码，并在设置断点处中断，如图21所示。图20：启动调试图21：在断点位置中断 5.调试器侧边栏在调试器侧边栏中，显示了一个变量资源管理器、一个断点列表、一个源代码预览以及调用堆栈窗口，如图22所示。图22：调试器侧边栏 6.查看变量的值在变量面板中可以使用树视图（如图23所示）或表视图（如图24所示）来显示变量的值。图23：使用树视图显示变量的值图24：使用表视图显示变量的值 7.调用堆栈在调用堆栈窗口中，读者可以查看函数的调用层次关系，如图25所示，并使用调试功能继续执行。图25：调用堆栈 8.更新断点读者可以在停止执行时删除已有断点和添加新的断点，更新断点的信息将显示在断点列表中，如图26所示。图26：断点列表 9.源代码在源代码窗口中，显示的是正在调试的当前文件的源代码，如图27所示，如果源代码对应于已删除的单元格，则单击“在主区域打开”按钮将打开源的只读视图。图27：在源代码面板中查看main.ipynb的源代码 10.继续执行在调试工具栏上点击“next”按钮（蓝色方框中的按钮，快捷键是：F10），如图28所示，可以执行下一行代码。点击“next”按钮，可以看到执行到第一个单元格的第三行（或第四行）代码return res 处，继续按“next”按钮，已经执行到第二个单元格的第四行（或第五行）result2 = add(result, 3)代码处，接下来可以继续调试下一行代码，也可以进入函数的内部进行调试。图28：执行下一行代码 11.在函数内部继续调试在调试工具栏中，点击“Step In”按钮（蓝色方框中的按钮，快捷键是：F11），如图29所示，可以进入函数内部进行调试。点击“Step In”按钮，在第一个代码单元格的第二行（或第三行）res = a + b代码处中断。图29：进入函数内部但不调试 11.跳出本层函数在调试工具栏中，点击“Step Out”按钮（蓝色方框中的按钮，快捷键是：Shift+F11），如图30所示，可以跳出本层函数，返回到上一层函数内部继续执行。点击“Step Out”按钮，返回到第二个单元格的代码处继续执行。图30：跳出本层函数 12.执行到断点位置在第三个代码单元格的第五行（或第六行）print(result, result2)处添加一个断点，在调式工具栏上点击“Continue”按钮（蓝色方框中的按钮，快捷键是：F9），如图31所示，可以执行到断点所在的代码行。图31：执行到断点所在的代码行 1.停止调试在调试工具栏中，点击“Terminate”按钮（蓝色方框中的按钮，快捷键是：Shift+F9），如图32所示，可以停止调试。图32：停止调试八、常用命令 1.查看CANN的版本信息 cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend_toolkit_install.info 2.查看MindSpore的版本信息 pip show mindspore 3.查看MindNLP的版本信息 pip show mindnlp 九、基础知识 ATC介绍 ATC（Ascend Tensor Compiler）是昇腾软件栈提供的一个编译工具，它的主要功能是将基于开源框架的网络模型（如Caffe、TensorFlow等）以及单算子Json文件，转换成昇腾AI处理器支持的离线模型Offline-Model文件（简称OM文件）。在编译过程中，可以实现算子调度的优化、权值数据重排、内存使用优化等，并且可以脱离设备完成模型的预处理。 ATC工具架构图 ACL介绍对已训练好的权重文件，比如caffe框架下的caffemodel, tensorflow框架下得到的checkpoint或者pb文件，再经过ATC工具转换后得到的离线模型文件，ACL（Ascend Computing Language，昇腾计算语言）提供了一套用于在昇腾系列处理器上进行加速计算的API。基于这套API，读者能够管理和使用昇腾软硬件计算资源，并进行机器学习相关计算。当前ACL为读者提供了C/C++和Python编程接口，能够很方便的帮助读者完成下这些目标： (1)加载深度学习模型进行推理 (2)加载单算子进行计算 (3)图像、视频数据的预处理 ACL工具结构图程序执行流程 (1)初始化在开始调用ACL的任何接口之前，首先要做ACL的初始化。初始化的代码只有一行： acl.init(config_path) 这个接口调用会帮助读者准备好ACL的运行时环境。其中调用时传入的参数是一个配置文件在磁盘上的路径，该参数可以为空值。在确定完成了ACL的所有调用之后，或者进程退出之前，要做去初始化操作，接口调用如下： acl.finalize() (2)申请计算资源使用昇腾处理器提供的加速计算能力，需要对运行管理资源申请，包括Device、Context、Stream。且需要按顺序申请，主要涉及以下三个接口： ret = acl.rt.set_device(device_id) 功能：指定用于运算的Device,同时隐式创建默认Context。这个接口指定计算设备，告诉运行时环境读者想要用哪个设备，或者更具体一点，哪个芯片。注意：芯片和读者在这里传入的编号之间并没有物理上的一一对应关系。 context,ret = acl.rt.create_context(device_id) 功能：显示创建一个Context。 Context作为一个容器，管理所有对象（包括Stream、Event、设备内存等）的生命周期。不同Context的Stream、不同Context的Event是完全隔离的，无法建立同步等待关系。 stream, ret = acl.rt.create_stream() 功能：创建一个Stream，同步接口。 Stream用于维护一些异步操作的执行顺序，确保按照应用程序中的代码调用顺序在Device上执行。基于Stream的kernel执行和数据传输能够实现Host运算操作、Host与Device间的数据传输、Device内的运算并行。 (3)加载模型调用模型进行推理，首先要把模型加载进来。ACL提供了多种模型加载和内存管理方式，在这里选取其中相对简单的一种，即从磁盘上加载离线模型，并且加载后的模型内存由ACL自动管理: model_path = "./model/resnet50.om" model_id, ret = acl.mdl.load_from_file(model_path) 功能：从文件加载离线模型数据。参数为模型文件在磁盘上的路径。其中，model_id是系统完成模型加载后生成的模型ID对应的指针对象，加载后生成的model_id，全局唯一。该“model_id”，在后面使用模型进行推理，以及卸载模型的时候还需要用到。有加载自然就有卸载，模型卸载的接口： acl.mdl.unload(model_id) 注意：不管使用了任何的资源，加载了任何的素材，都需要用完后销毁和卸载。 (4)获取模型信息模型描述需要特殊的数据类型，使用以下函数来创建并获取该数据类型。 desc = acl.mdl.create_desc() 功能：创建aclmdlDesc类型的数据。 ret = acl.mdl.get_desc(model_desc, model_id) 功能：根据模型ID获取该模型的aclmdlDesc类型数据。获取到模型类型后，还需要根据该类型来获取模型的输入输出个数，调用函数如下： size = acl.mdl.get_num_inputs(model_desc) 功能：根据aclmdlDesc类型的数据，获取模型的输入个数。 size = acl.mdl.get_num_outputs(model_desc) 功能：根据aclmdlDesc类型的数据，获取模型的输出个数。 (5)申请device内存使用NPU进行加速计算，需要先申请能够被NPU直接访问到的专用内存。在了解内存申请之前，需要先区分如下两个概念： Host：Host指与Device相连接的X86服务器、ARM服务器，会利用Device提供的NN（Neural-Network ）计算能力，完成业务。 Device：Device指安装了芯片的硬件设备，利用PCIe接口与Host侧连接，为Host提供NN计算能力。读者的数据需要先从Host侧进行加载，即读进Host侧内存，随后将其拷贝到Device侧内存，才能进行计算。计算后的结果还要传回Host侧才能进行使用。申请Device侧内存： dev_ptr, ret = acl.rt.malloc(size, policy) 功能：申请device上的内存，同步接口。参数：size表示device侧内存大小，policy表示内存分配规则。返回值：dev_ptr表示device侧内存指针。内存分配规则规则名称含义 ACL_MEM_MALLOC_HUGE_FIRST 优先申请大页内存，如果大页内存不够，则使用普通页的内存。 ACL_MEM_MALLOC_HUGE_ONLY 仅申请大页，如果大页内存不够，则返回错误。 ACL_MEM_MALLOC_NORMAL_ONLY 仅申请普通页。在这里分配了跟Host侧同样大小的内存，准备用于在Device侧存放推理数据。注意：使用完之后需要释放申请过的内存： acl.rt.malloc-> acl.rt.free (6)图片处理（DVPP）数字视觉预处理模块(DVPP)作为昇腾AI软件栈中的编解码和图像转换模块，为神经网络发挥着预处理辅助功能。当来自系统内存和网络的视频或图像数据进入昇腾AI处理器的计算资源中运算之前，由于Davinci架构对输入数据有固定的格式要求，如果数据未满足架构规定的输入格式、分辨率等要求，就需要调用数字视觉处理模块进行格式的转换，才可以进行后续的神经网络计算步骤。 DVPP相关接口介绍： AclImage(image_file) 功能：读取、初始化图片 yuv_image=jpegd(image) 功能：图片预处理 resized_image = _dvpp.resize(yuv_image, MODEL_WIDTH, MODEL_HEIGHT) 功能：将输入图片缩放为输出尺寸 (7)数据传输 ●host传输数据至device 把数据从Host侧拷贝至Device侧： acl.rt.memcpy(dst, dest_max, src, count, direction) 功能：实现Host和Device间的同步内存复制。参数的顺序是：目的内存地址，目的内存最大大小，源内存地址，拷贝长度，拷贝方向。 direction拷贝方向当前支持四种: ACL_MEMCPY_HOST_TO_HOST ----- host->host ACL_MEMCPY_HOST_TO_DEVICE ----- host->device ACL_MEMCPY_DEVICE_TO_HOST ----- device->host ACL_MEMCPY_DEVICE_TO_DEVICE ----- device->device 注意：该步骤已在DVPP接口内自动完成。 ptr = acl.util.numpy_to_ptr(data) 功能：将numpy数据转换成为void*数据，可以将转换好的数据传递给C函数直接使用。 ●准备推理所需数据结构模型推理所需的输入输出数据，是通过一种特定的数据结构来组织的，这种数据结构叫“dataSet”，即所有的输入，组成了1个dateset，所有的输出组成了一个dataset。而对于很多模型来讲，输入其实不止一个，那么所有的输入集合叫“dataSet”，其中的每一个输入叫什么呢？答案是“dataBuffer”。即一个模型的多个输入，每个输入是一个“dataBuffer”，所有的dataBuffer构成了一个“dataSet”。下面从构建dataBuffer开始。 dataBuffer的创建很简单，在之前申请了Device侧的内存，并且把数据传过去了，现在需要用到。当时的device侧内存地址：data 这段内存的长度：size 使用上边两个对象来创建一个dataBuffer。 output = acl.create_data_buffer(data, size) 功能：创建aclDataBuffer类型的数据。现在，这个“buffer”就是读者的第一个输入了。针对本实验所用到的resnet50模型，只需要一个输入即可，那现在有了dataBuffer，要如何构建dataSet呢？很简单： acl.mdl.create_dataset() 功能：创建aclmdlDataset类型的数据。 dataset有了，下面就是向这个dataset中放置DataBuffer了： acl.mdl.add_dataset_buffer(dataset, data) 功能：向aclmdlDataset中增加aclDataBuffer。这样，在dataset中添加了一个databuffer，输入准备好了。创建输出数据结构同理，当读者拿到一个模型，读者应该是清楚这个模型的输出数据结构，根据其输出个数、每个输出占用内存的大小来申请相应的device内存、dataBuffer以及dataSet即可。现在假设已经创建好了输出的dataset，其变量名称叫做： outputDataSet。至此，读者已经准备好了推理所需的所有素材。当然，将来用完之后还需要进行销毁： acl.create_data_buffer-> acl.destory_data_buffer; acl.mdl.create_dataset-> acl.mdl.destroy_dataset ret = acl.destory_data_buffer(data_buffer) 功能：销毁aclDataBuffer类型的数据。 (8)推理所有素材准备好之后，模型推理已经是顺理成章的事情了，主要的关键素材包括： model_id load_input_dataset load_output_dataset 最终的推理，其实只需要一行代码： ret = acl.mdl.execute(model_id, input, output) 功能：执行模型推理，返回推挤结果，同步接口。这是个同步接口，线程会阻塞在这里直到推理结束。推理结束后就可以提取load_output_dataset中的数据进行使用了。 (9)后处理 ●释放资源资源有申请就要有释放，调用以下接口释放之前申请的dataset和databuffer： ret = acl.mdl.destroy_dataset(dataset) 功能：销毁aclmdlDataset类型的数据。 ret = acl.destory_data_buffer(data_buffer) 功能：销毁aclDataBuffer类型的数据。 ●申请host内存建立outputDataset的时候，读者应该使用了device侧的内存，将这部分内存拷贝回host侧，即可直接使用了。申请Host侧内存： host_ptr, ret= acl.rt.malloc_host(size) 功能：申请host上的内存，同步接口。参数：host_ptr表示host侧内存指针，随后即可使用host_ptr指向的内存来暂存推理输入数据。把数据从device侧拷贝至host侧： ret = acl.rt.memcpy(dst, dest_max, src, count, direction) 参数的顺序是：目的内存地址，目的内存最大大小，源内存地址，拷贝长度，拷贝方向。（支持host->host, host->device, device->host, device->device四种,与申请device内存相同）使用完别忘了释放申请过的内存： acl.rt.malloc_host-> acl.rt.free_host ●获取推理结果将推理后的结果数据转换为numpy类型，可以使用以下接口。 Output = acl.util.ptr_to_numpy(prt, shape, NPY_BYTE) 功能：将void*数据转换为numpy数据，可以使python代码直接访问。十、模型简介 1.OM 模型 OM 文件是静态的、编译后的、用于部署的模型，不包含梯度、优化器等训练所需的信息。OM（Ascend Model）是华为 CANN 工具链编译出来的推理模型，仅用于在华为 Ascend 芯片上执行推理。 2.ONNX 模型使用深度学习框架(如 PyTorch、TensorFlow、Keras 等)训练模型,将训练好的模型导出为 ONNX 格式（.onnx 文件） 3.ONNX 模型（.onnx）与 OM 模型（.om）比较特性 ONNX OM 设计目标跨平台、框架中立的中间表示华为 Ascend AI 芯片专用模型格式模型结构通用表示，适用于多个深度学习框架（如 PyTorch、TensorFlow）针对华为昇腾（Ascend）芯片的优化格式扩展性支持多种算子定义和自定义扩展主要支持昇腾 NPU 所支持的算子集合使用平台 CPU/GPU/TPU/NPU（广泛平台）华为 Ascend AI 加速器（如 Atlas、昇腾910）推理框架 ONNX Runtime、TensorRT、OpenVINO 等使用华为 MindX SDK 或 ACL（Ascend Computing Library）进行部署开发阶段常用于模型训练后跨平台部署准备通常在部署前的最后一步，用于华为硬件部署优化程度未针对特定硬件深度优化针对昇腾芯片做了硬件层级优化（性能更优）文件结构基于 protobuf 序列化的图结构二进制格式，包含图结构 + 编译后的算子实现可读性可以直接解析和可视化（如 Netron）二进制难以直接阅读，需工具查看（如 ais-bench） 4.将ONNX 模型转换为OM模型 (1)转换指令 atc --model=yolov5s.onnx --framework=5 --output=yolo --input_format=NCHW --input_shape="input_image:1,3,640,640" --log=error --soc_version=Ascend310B1 (2)参数说明参数的名称含义 --model 输入模型路径 --framework 原始网络模型框架类型，0表示Caffe, 1表示MindSpore, 3表示TensorFlow, 5表示ONNX --output 输出模型路径 --input_format 输入Tensor的内存排列方式 --input_shape 指定模型输入数据的shape --log 日志级别 --soc_version 昇腾AI处理器型号 --input_fp16_nodes 指定输入数据类型为FP16的输入节点名称 --output_type 指定网络输出数据类型或指定某个输出节点的输出类型读者使用启智01开发者套件完成后续的实验任务过程中，在这些实验任务中将会同时提供ONNX模型和OM模型，读者可以熟悉将ONNX模型转换为OM模型的过程，也可以在实验中直接使用OM模型。 5.可以支持的模型清单序号名称 1 ResNet50 2 ViT 3 FCN 4 ShuffleNet 5 SSD 6 RNN 7 LSTM+CRF 8 GAN 9 DCGAN 10 Pix2Pix 11 Diffusion 12 ResNet50_transfer 13 Qwen1.5-0.5b 14 TinyLlama-1.1B 15 DctNet 实验1 高清图像修复一、实验目的 ●掌握基于ACL的推理应用开发基本流程和方法。 ●使用单算子调用加速前处理或者后处理过程的方法。 ●了解图像修复模型的网络结构及其数据预处理/后处理过程。二、准备实验 CANN是针对AI场景推出的异构计算架构，提供多层次的编程接口，主要包含统一APP编程语言AscendCL、统一网络构图接口、高性能计算引擎以及算子库和计算基础服务四部分，支持用户快速构建基于CANN AscendCL的AI应用和业务。在本实验中，指定修复区域，可以对超高像素图像进行修复，特别是通过将残差聚合模块转化为大矩阵乘以后充分利用了算力优势，即使对于4K图像也能达到秒级修复。以下是具体的内容：模型网络结构高清图像修复基于GAN网络，使用上下文残差聚合机制(CRA：Contextual Residual Aggregation)，在资源有限的情况下生成超高分辨率的修复结果。目前，由于内存限制，基于数据驱动的图像修复方法通常只能处理小于1k（1920 X 1080）的低分辨率输入，而使用设备拍摄的照片提高到了8K，单纯的对低分辨率修复后的结果进行上采样，只会产生较大并且模糊的结果。 Qiang Tang等人提出的算法Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting另辟蹊径，由生成器得到低分辨率的修复好的图像，然后通过残差聚合模块得到高频残差，最后合并高频残差合低分辨率修复结果得到高分辨率修复图像，最终的效果也相当惊艳。上图为高清图像修复方法的整体框架：其中顶部图为CRA机制流程，底部图为生成器的结构。首先，生成器结构如下: 1.生成器包括粗(Coarse network)到精(Refine network)两个网络架构，粗糙网络会产生粗略的缺失内容，精细网络会对粗糙网络生成的粗略的缺失内容进行精细修复。 2.粗糙网络（Coarse network），用来生成待修复部分的图像的一个大体轮廓。为了减少计算，在送入粗略网络中进行运算之前，将输入下采样至256×256。将粗略网络的推理的孔洞区域替换原始输入的mask区域作为精细网络的输入。精细网络会对上一阶生成的修复的mask区域内的图像进行精细加工，使得该区域图像变得清晰。它的原理是将图像切成指定数量的patch，这些patch通过精细网络的编码器的特征提取，会生成一串向量，通过向量之间的余弦相似度反映patch之间的相似程度，所有patch的两两相关性最终生成了注意力矩阵，在精细网络的低层将mask外所有的patch特征值与对应的注意力分数作为权值相乘后再相加得到待修补patch内的特征值，这些特征值通过后面的解码器反卷积后就能生成图片，这样就能对mask内的图像做精细修补。最后是整体CRA机制流程。由于处理的是高分辨率的图像，修补的图像相比mask外区域可能不是足够清晰自然，利用图像锐化的原理对图像修补的区域再进一步增强: 1.由原图和修复后的图片缩放到同样大小后相减后得到细节图片。 2.利用mask区域外的上下文信息生成细节图片的mask内区域图片，具体为：把细节图片分成32 X 32个patch，再利用上面得到的注意力矩阵，加权求和mask外的细节特征得到mask内的细节，修复后的mask内细节区域的图片再加到修复后图像对应的mask内的区域，得到清晰的修复区域的图片，最后再将经过以上处理修复后的图片的mask内区域与原图mask外的区域合并组成一张完整的清晰自然的图像。高清图像修复的整体流程 1.运行管理资源申请：用于初始化系统内部资源，固定的调用流程。 2.加载模型文件并构建输出内存： ●从文件加载离线模型，模型加载进系统之后占用的内存需要由用户自行管理； ●获取模型的基本信息，包含模型输入/输出的个数，每个输入/输出占用内存的大小； ●申请模型输入输出内存，为接下来的模型推理做好准备。 ●高清图像修复应用需要加载两个模型：GAN网络图像修复模型，大矩阵乘后处理模型。 3.获取本地图像并进行预处理：使用OpenCV从本地存放图像数据的目录中读取图像数据，对读入的图像数据进行预处理，然后构建模型的输入数据。 4.模型推理：根据加载的模型、构建好的模型输入数据、申请好的模型输出内存进行模型推理。 5.后处理，GAN网络模型推理得到修复后的模糊图像和注意力矩阵，利用注意力矩阵对图像的细节的mask内区域进行增强，将增强的细节叠加到修复的图像的mask内区域，利用大矩阵乘模型对修复的区域进行锐化，再把锐化mask内区域的图像与原图mask外区域合并得到修复后的高清图像。三、实验内容任务（一）：高清图像修复 1. 获取项目和下载课件，并在JupyterLab中打开项目。 (1)从课程的当前课时中领取实验任务。 (2)在/home/HwHiAiUser/samples/qizhi01目录下，打开Terminal窗口，将实验项目克隆到本地。提示：如果在/home/HwHiAiUser/samples/目录下不存在qizhi01文件夹，需要创建qizhi01文件夹，然后进入到/home/HwHiAiUser/samples/qizhi01目录中，再将实验项目克隆到本地。 (3)克隆成功后，进入到实验项目的根目录中，然后在当前课时的课件中，下载模型和数据课件，并解压到当前项目的根目录下，解压完成后，可以删除该课件的压缩包，可以使用以下命令（注意：模型和数据课件压缩包的名称，需要替换为实际的课件名称）。 unzip 模型和数据课件压缩包的名称 && rm 模型和数据课件压缩包的名称 (4)在实验项目的根目录中，打开Terminal窗口，执行su root命令，根据提示输入密码，并按回车。 (5)接着，在Terminal窗口中，执行chmod +x start_jupyterlab.sh命令并按回车键，然后执行./start_jupyterlab.sh命令，会在浏览器中自动打开JupyterLab实验环境。提示：如果没有自动打开JupyterLab实验环境，可以在Terminal窗口的输出信息中，选中http://127.0.0.1:8888/lab?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx这一行信息的内容(x表示一个数字)，如下图所示，单机鼠标右键，在弹出的菜单中选择“Open Link”菜单项，并按回车，可以在浏览器中打开JupyterLab的实验环境。 (6)在JupyterLab实验环境中，自动打开当前实验项目。 2. 项目中的文件文件夹或文件名称功能 src/main.py 主要基于启智01，输入一张图像和其遮罩（mask），使用 ACL 推理，填补缺失区域，实现的图像修复功能。 output 包含推理后的结果文件 data 包含原始图像。 model 包含用于推理的模型文件 mask 包含mask内区域图像。 toolkit 包含ACL相关资源的源代码文件。 3. 源代码解析（1）导入依赖模块、工具类与路径配置 import sys import os import numpy as np import acl import cv2 import glob import time path = os.path.dirname(os.path.abspath(__file__)) sys.path.append(os.path.join(path, "..")) project_dir = os.path.dirname(path) sys.path.append(os.path.join(project_dir, "toolkit")) from acl_resource import AclResource from acl_model import Model from utils import display_time ●导入系统模块和必要的第三方库。 ●添加父目录和工具目录到 sys.path，以便导入自定义模块（2）模型与常量定义 currentPath = os.path.join(path, "..") OUTPUT_DIR = os.path.join(currentPath, 'out/') MODEL_PATH = os.path.join(currentPath,"model/hifill.om") MODEL_MATMUL_PATH =os.path.join(currentPath, "model/0_BatchMatMul_0_0_1_1_1024_1024_0_0_1_1_1024_27648_0_0_1_1_1024_27648.om") MODEL_WIDTH = 512 MODEL_HEIGHT = 512 INPUT_SIZE = 512 ATTENTION_SIZE = 32 MULTIPLE = 6 ●指定了主模型 hifill.om（inpainting） ●指定了矩阵乘法辅助模型（用于 residual 聚合） ●指定了输入图像大小、attention block 尺寸、倍数因子等。（3）工具函数定义 def sort(str_lst): return [s for s in sorted(str_lst)] ●用于排序文件名列表。 def reconstruct_residual_from_patches(residual, multiple): residual = np.reshape(residual, [ATTENTION_SIZE, ATTENTION_SIZE, multiple, multiple, 3]) residual = np.transpose(residual, [0, 2, 1, 3, 4]) return np.reshape(residual, [ATTENTION_SIZE * multiple, ATTENTION_SIZE * multiple, 3]) ●将 residual 从 attention 格式的 patch 重构为原始空间大小图像。 def extract_image_patches(img, multiple): h, w, c = img.shape img = np.reshape(img, [h // multiple, multiple, w // multiple, multiple, c]) img = np.transpose(img, [0, 2, 1, 3, 4]) return img ●从图像中提取出固定大小的 patch，用于 residual 分块处理。 def pre_process(raw_img, raw_mask): raw_mask = raw_mask.astype(NPTYPE_FLOAT32) / 255. raw_img = raw_img.astype(NPTYPE_FLOAT32) large_img = cv2.resize(raw_img, (MULTIPLE * INPUT_SIZE, MULTIPLE * INPUT_SIZE), interpolation = cv2. INTER_LINEAR) large_mask = cv2.resize(raw_mask, (MULTIPLE * INPUT_SIZE, MULTIPLE * INPUT_SIZE), interpolation = cv2.INTER_NEAREST) small_img = cv2.resize(raw_img, (INPUT_SIZE, INPUT_SIZE), interpolation = cv2.INTER_NEAREST) small_mask = cv2.resize(raw_mask, (INPUT_SIZE, INPUT_SIZE), interpolation = cv2.INTER_NEAREST) small_mask = 1. - small_mask mask_512_hwc = small_mask[:,:,0:1] mask_512_chw = mask_512_hwc.transpose(2,0,1).copy() return large_img, large_mask, small_img, mask_512_chw ●对输入图像和掩膜进行标准化、缩放和格式转换： ➢缩放生成大图 (large_img) 和小图 (small_img) ➢掩膜反转（1 表示需要填补） ➢转为 CHW 格式供模型输入 def get_imgs_masks_file_list(images, masks): paths_img = glob.glob(images + '/*.*[gG]') paths_mask = glob.glob(masks + '/*.*[gG]') paths_img = sort(paths_img) paths_mask = sort(paths_mask) return paths_img, paths_mask ●获取图像与掩膜路径列表，支持 .png/.jpg/.jpeg 等后缀名。（4）模型执行及后处理 def matmul_om_large(matmul_model, attention, residual): attention_reshape = attention.reshape(1024, 1024) residual_reshape = residual.reshape(1024, 96 * 96 * 3) matmul_ret = matmul_model.execute([attention_reshape, residual_reshape]) return matmul_ret[0].reshape(ATTENTION_SIZE, ATTENTION_SIZE, 3072 * 9) ●将 attention 与 residual 输入矩阵乘法模型 .om，返回 residual 聚合结果。 def residual_aggregate(model, residual, attention): residual = extract_image_patches(residual, MULTIPLE * INPUT_SIZE // ATTENTION_SIZE) residual = np.reshape(residual, [1, residual.shape[0] * residual.shape[1], -1]) residual = matmul_om_large(model, attention, residual) residual = reconstruct_residual_from_patches(residual, MULTIPLE * INPUT_SIZE // ATTENTION_SIZE) return residual ●将 residual 聚合为原始空间 residual，用于补偿 low_base 的误差。 def post_process(model, raw_img, large_img, large_mask, inpainted_512, img_512, mask_512, attention): h, w, c = raw_img.shape low_base = cv2.resize(inpainted_512.astype(NPTYPE_FLOAT32), (INPUT_SIZE * MULTIPLE, INPUT_SIZE * MULTIPLE), interpolation = cv2.INTER_LINEAR) low_large = cv2.resize(img_512.astype(NPTYPE_FLOAT32), (INPUT_SIZE * MULTIPLE, INPUT_SIZE * MULTIPLE), interpolation = cv2.INTER_LINEAR) residual = (large_img - low_large) * large_mask residual = residual_aggregate(model, residual, attention) res_large = low_base + residual res_large = np.clip(res_large, 0., 255.) res_raw = cv2.resize(res_large, (w, h), interpolation = cv2.INTER_LINEAR) mask = cv2.resize(mask_512.astype(NPTYPE_FLOAT32), (w, h), interpolation = cv2.INTER_LINEAR) mask = np.expand_dims(mask, axis=2) res_raw = res_raw * mask + raw_img * (1. - mask) return res_raw.astype(np.uint8) ●将 512 的 inpainted 结果放大 ●加 residual 补偿 ●还原至原始大小 ●按掩膜合并原图与结果 def readimages(img_path, mask_path): raw_img = cv2.imread(img_path) raw_mask = cv2.imread(mask_path) return raw_img, raw_mask ●读取原始图像和掩膜。 def inference(model, input_data): resultList = model.execute(input_data) inpainted_512 = resultList[0] attention = resultList[1] mask_512_new = resultList[2] return inpainted_512, attention, mask_512_new ●调用主模型进行推理，返回： ➢inpainted_512：修复结果 ➢attention：attention 图（用于 residual 聚合） ➢mask_512_new：网络调整后的掩膜（5）主函数 def main(image_dirs, masks_dirs): if not os.path.exists(OUTPUT_DIR): os.mkdir(OUTPUT_DIR) acl_resource = AclResource() stream = acl_resource.init() #load model model = Model( MODEL_PATH) matmul_om = Model( MODEL_MATMUL_PATH) paths_img, paths_mask = get_imgs_masks_file_list(image_dirs, masks_dirs) for i in range(len(paths_img)): raw_img, raw_mask = readimages(paths_img[i], paths_mask[i]) print("file: % s, shape= % s" % (paths_img[i], raw_img.shape)) img_large, mask_large, img_512, mask_512 = pre_process(raw_img, raw_mask) inpainted_512, attention, mask_512_new = inference(model,[img_512, mask_512,]) res_raw_size = post_process(matmul_om,raw_img, img_large, mask_large, inpainted_512[0], img_512, mask_512_new[0], attention[0]) filename = os.path.join(OUTPUT_DIR, 'outpaint_' + os.path.basename(paths_img[i])) cv2.imwrite(filename , res_raw_size) ●初始化 ●加载模型 ●获取文件 ●通过for循环对每一对图像和掩膜文件的处理。 ➢读取图像 ➢预处理输入 ➢执行模型推理 ➢通过 attention 重建 residual ➢合成最终图像并保存 4. 运行程序 (1)在左侧的项目管理器中，切换到src目录。 (2)选择“File”菜单中的“New Launcher”菜单项，在右侧打开的页面中，点击“Terminal”图标。 (3)在打开的“Terminal”窗口中，输入以下命令并按回车。 python3 main.py (4)在左侧的项目管理器中，切换到output目录，可以查看处理后的高清图片。