下载
EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

执行AOE调优

  • 单个AOE进程时,请确保调优用户的家目录下磁盘可用空间>=20G,可用内存>=32G。注意:如果模型中存在大shape算子,可能需要更多内存。多个AOE进程时,请自行增加相应的磁盘空间和内存。
  • AOE不支持不同用户同时使用同一device进行调优。
  • 调优前,请确保关闭Profiling功能,避免影响调优结果。关闭Profiling功能具体操作请参见性能调优工具指南
  • 推荐先进行子图调优,再进行算子调优。原因是:先进行子图调优会生成图的切分方式,子图调优后算子已经被切分成最终的shape了,再进行算子调优,会基于这个最终shape去做算子调优。如果优先算子调优,这时调优的算子shape不是最终切分后的算子shape,不符合实际使用场景。
  • 使用AOE调优引擎进行子图调优

    命令示例如下所示。xx.xx.xx.xx表示运行环境NCS服务所在的IP地址,8000表示NCS服务器端口,需要根据实际情况替换。

    aoe --framework 0 --model ./resnet18.prototxt --weight ./resnet18.caffemodel --job_type 1 --ip xx.xx.xx.xx --port 8000
  • 使用AOE调优引擎进行子图重载调优

    子图调优中断后,希望从上次已有的调优阶段开始继续调优,则可以选择该模式。

    命令示例如下所示。xx.xx.xx.xx表示运行环境NCS服务所在的IP地址,8000表示NCS服务器端口,需要根据实际情况替换。

    aoe --framework 0 --model ./resnet18.prototxt --weight ./resnet18.caffemodel --job_type 1 --ip xx.xx.xx.xx --port 8000 --reload

    该命令必须在上次执行调优命令的相同目录下使用。原因是重载调优需要使用上次调优的中间文件。

  • 执行AOE调优引擎进行算子调优

    命令示例如下所示。xx.xx.xx.xx表示运行环境NCS服务所在的IP地址,8000表示NCS服务器端口,需要根据实际情况替换。

    aoe --framework 0 --model ./resnet18.prototxt --weight ./resnet18.caffemodel --job_type 2 --ip xx.xx.xx.xx --port 8000
AOE调优引擎详细解释请参见AOE参数说明

AOE调优引擎还提供了环境变量控制功能,详情可参见配置环境变量

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词