参数概览
本节介绍AOE调优引擎使用到的命令行参数。参数和参数取值之间可以是“=”，也可以是空格，本章节统一以“=”为例。
|
参数名称 |
参数简述（具体说明见参数描述章节） |
是否必选 |
默认值 |
|---|---|---|---|
|
显示帮助信息。 |
否 |
不涉及 |
|
|
原始模型文件路径与文件名。 |
否 |
不涉及 |
|
|
原始模型文件路径，该路径下可以存放多个模型文件。 |
否 |
不涉及 |
|
|
权重文件路径与文件名。 |
否 |
不涉及 |
|
|
调优模式。 |
是 |
不涉及 |
|
|
原始框架类型。 |
否 |
不涉及 |
|
|
输入数据格式。 |
否 |
Caffe和ONNX默认为NCHW TensorFlow默认为NHWC |
|
|
指定模型输入数据的shape。 |
否 |
不涉及 |
|
|
设置动态Batch档位参数，适用于执行推理时，每次处理图片数量不固定的场景。 |
否 |
不涉及 |
|
|
设置输入图片的动态分辨率参数。适用于执行推理时，每次处理图片宽和高不固定的场景。 |
否 |
不涉及 |
|
|
设置ND格式下动态维度的档位。适用于执行推理时，每次处理任意维度的场景。 |
否 |
不涉及 |
|
|
NCS服务器IP。 |
是 |
不涉及 |
|
|
NCS服务器端口号。 |
否 |
8000 |
|
|
子图调优中断后重载。当前次流程被中断后，希望从上次的已有的调优阶段开始继续调优，使用--reload进入重载模式。 |
否 |
不涉及 |
|
|
用于指定调优在运行环境上运行时使用的device。 |
否 |
不涉及 |
|
|
用于开启或关闭调优时进度显示功能。 |
否 |
on |
|
|
通过配置算子描述文件，对指定的算子（一个或者多个）进行调优。 |
否 |
不涉及 |
|
|
存放调优后的模型的路径以及文件名。 |
否 |
不涉及 |
|
|
指定网络输出数据类型或指定某个输出节点的输出类型。 |
否 |
不涉及 |
|
|
若模型编译环境的操作系统及其架构与模型运行环境不一致时，则需使用本参数设置模型运行环境的操作系统类型。 |
否 |
不涉及 |
|
|
若模型编译环境的操作系统及其架构与模型运行环境不一致时，则需使用本参数设置模型运行环境的操作系统架构。 |
否 |
不涉及 |
|
|
用于设置模型编译时使用的aicore数目。 |
否 |
默认值为最大值 |
|
|
指定输出节点。 |
否 |
不涉及 |
|
|
指定输入数据类型为FP16的输入节点名称。 |
否 |
不涉及 |
|
|
插入算子的配置文件路径与文件名。 |
否 |
不涉及 |
|
|
扩展算子（非标准算子）映射配置文件路径和文件名。 |
否 |
不涉及 |
|
|
用于指定网络输入数据类型是否为FP16，数据格式是否为NC1HWC0。 |
否 |
false |
|
|
用于指定网络输出的数据类型是否为FP16，数据格式是否为NC1HWC0。 |
否 |
false |
|
|
内存复用开关。 |
否 |
0 |
|
|
融合开关配置文件路径以及文件名。 |
否 |
不涉及 |
|
|
指定编译时需要生效的融合规则列表。 |
否 |
不涉及 |
|
|
是否使能small channel的优化，使能后在channel<=4的卷积层会有性能收益。 |
否 |
0 |
|
|
要压缩的node节点列表配置文件路径以及文件名。 |
否 |
不涉及 |
|
|
模型压缩功能配置文件路径以及文件名，通过该参数使能配置文件中指定的模型压缩特性，从而提升网络性能。 |
否 |
不涉及 |
|
|
是否开启buffer优化。 |
否 |
l2_optimize |
|
|
选择算子精度模式。 |
否 |
force_fp16 |
|
|
选择算子是高精度实现还是高性能实现。 |
否 |
high_performance |
|
|
列举算子optype的列表。 |
否 |
不涉及 |
|
|
TBE算子编译debug功能开关。 |
否 |
0 |
|
|
设置调优过程中日志的级别。 |
否 |
不涉及 |
|
|
通过配置文件指定算子名称或者算子类型，对指定的算子进行调优。 |
否 |
不涉及 |
|
|
设置具体某个算子的精度模式，通过该参数可以为多个算子设置不同的精度模式。 |
否 |
不涉及 |
|
|
混合精度场景下，修改算子使用混合精度名单。 |
否 |
不涉及 |
|
|
保持原始网络模型编译时个别算子的计算精度不变。 |
否 |
不涉及 |
|
|
模型编译时自定义某个或某些算子的计算精度。 |
否 |
不涉及 |
|
|
调优模式，通过该参数可配置不同模式调优，包括高性能模式和正常模式。 |
否 |
O2 |
|
|
算子深度调优。 |
否 |
不涉及 |
|
|
子图非均匀切分调优。 |
否 |
不涉及 |
|
|
算子format调优。 |
否 |
不涉及 |
|
|
使能全局稀疏特性。 |
否 |
0 |
|
|
否 |
不涉及 |
||
|
否 |
不涉及 |