执行调优

前提条件

• 确保NCS已经安装，具体安装可参见环境准备。
• 确保运行环境的NCS已经启动。具体步骤如下。

1. 在运行环境启动NCS。

   ncs &

   

   如果要指定NCS服务器的IP和端口，需要携带ip和port这两个参数，使用示例为：ncs --ip XX.XX.XX.XX --port 端口号 &。XX.XX.XX.XX和端口号请根据实际情况修改。端口号默认：8000。取值范围[6000, 10000]。请确保配置的端口值可用。

2. 查询NCS是否启动成功。

   ps -ef|grep ncs|grep -v "grep"

   回显信息如下所示，代表NCS服务启动成功。ID为257435的进程是ncs守护进程，ID为257440的进程是ncs运行进程。

   root      257435  246668  0 07:54 pts/3    00:00:00 ncs --port XXXX --ip XX.XX.XX.XX
   root      257440  257435  0 07:54 pts/3    00:00:01 ncs --ip XX.XX.XX.XX --port XXXX --daemon false

使用AOE调优引擎进行调优

• 单个AOE进程时，请确保调优用户的家目录下磁盘可用空间>=20G，可用内存>=32G。注意：如果模型中存在大shape算子，可能需要更多内存。多个AOE进程时，请自行增加相应的磁盘空间和内存。
• AOE不支持不同用户同时使用同一device进行调优。
• 调优前，请确保关闭Profiling功能，避免影响调优结果。

• 在开发环境执行AOE调优引擎进行子图调优

  命令示例如下所示。xx.xx.xx.xx表示运行环境NCS服务所在的IP地址，8000表示NCS服务器端口，需要根据实际情况替换。

  aoe --framework 0 --model ./resnet18.prototxt --weight ./resnet18.caffemodel --job_type 1 --ip xx.xx.xx.xx --port 8000

• 在开发环境执行AOE调优引擎进行子图重载调优

  子图调优中断后，希望从上次已有的调优阶段开始继续调优，则可以选择该模式。

  命令示例如下所示。xx.xx.xx.xx表示运行环境NCS服务所在的IP地址，8000表示NCS服务器端口，需要根据实际情况替换。

  aoe --framework 0 --model ./resnet18.prototxt --weight ./resnet18.caffemodel --job_type 1 --ip xx.xx.xx.xx --port 8000 --reload

  

  该命令必须在上次执行调优命令的相同目录下使用。原因是重载调优需要使用上次调优的中间文件。

• 在开发环境执行AOE调优引擎进行算子调优

  命令示例如下所示。xx.xx.xx.xx表示运行环境NCS服务所在的IP地址，8000表示NCS服务器端口，需要根据实际情况替换。

  aoe --framework 0 --model ./resnet18.prototxt --weight ./resnet18.caffemodel --job_type 2 --ip xx.xx.xx.xx --port 8000

AOE调优引擎详细解释请参见AOE参数说明。

AOE调优引擎还提供了环境变量控制功能，详情可参见配置环境变量。