昇腾社区首页
中文
注册

工具部署架构

昇腾模型压缩工具部署架构如图1所示。

图1 部署架构
  1. 用户需要先在带NPU设备的训练环境上搭建MindSpore环境,并安装CANN软件包,然后在该环境上安装昇腾模型压缩工具,并进行模型压缩,生成压缩后的*.air模型。
  2. 用户将压缩后的*.air模型,借助CANN软件包提供的ATC工具,将*.air模型转换成适配昇腾AI处理器的离线模型
  3. 使用2中的.om离线模型在昇腾AI处理器完成推理业务。