简介

背景信息

Host和Device的概念说明如下:

标准形态,即Device为EP(Endpoint),通过PCIe(Peripheral Component Interconnect Express)配合Host进行工作,此时Device上的CPU资源仅能通过Host调用,相关推理应用程序运行在Host,Device只为服务器提供NN计算能力。例如推理应用的自定义预处理、后处理等操作在Host侧执行,DVPP图像预处理及模型推理在Device侧执行,典型业务处理流程如图1所示。

图1 标准形态下业务处理流程样例

开放形态即客户可以利用Device侧Control CPU的通用算力,降低Host侧CPU的负载。即将上图中椭圆虚线框中的处理操作转移到Device侧的Control CPU,开放Device侧昇腾AI处理器的编程能力,从而可降低对Host CPU的硬件要求,减少Host与Device之间的数据传输通信开销,提升整体处理性能。

不支持开放形态与EP标准形态相互切换使用。

若进行了开放形态的改造,后续想使用EP标准形态,需要恢复Device侧的文件系统为标准态文件系统(例如:重装对应版本的Driver包,或者把历史备份的文件系统镜像包恢复,然后重启Host)。

标准形态与开放形态对比