mxpi_tensorinfer

功能描述	对输入的张量进行推理。
同步/异步（status）	同步。
约束限制	无。
插件基类（factory）	mxpi_tensorinfer
输入和输出	输入：数据类型“MxpiTensorPackageList”，（兼容“MxpiVisionList”时，自动转换为通道数为3的“MxpiTensorPackageList”）。输出：数据类型“MxpiTensorPackageList”。
端口格式（caps）	静态输入：{"metadata/tensor"}，动态输入：{"image/yuv"}，至少一个端口，可以为多个。静态输出：{"metadata/tensor"}。
属性	请参见表1。

表1 mxpi_tensorinfer插件的属性
属性名	描述	是否为必选项	是否可修改
modelPath	指定推理模型OM文件路径。最大只支持至4G大小的模型，并且模型要求属主为当前用户，权限不大于“640”。	是	是
dataSource	输入数据对应索引，可配置多个，但必须与输入端口数量相同。默认为上游插件对应输出端口的key值。	否	是
outputDeviceId	不使用后处理so时，内存拷贝到outputDeviceId所指定位置。若需拷贝至Host侧，设为-1。若需拷贝至Device侧，当前仅支持填写stream_config字段中的deviceId。	否	是
waitingTime	多batch模型可容忍的等待组BATCH时间，超过此时间则结束等待自动完成推理，默认为5000 ms。	否	是
dynamicStrategy	动态batch推理情形下，选取合适batchsize所采用的策略。默认为"Nearest"。 "Nearest"策略：选取与缓存图片数量差值的绝对值最接近的batchsize（绝对值相等取较大者）。 "Upper"策略：取大于或等于缓存图片数量的最小batchsize。 "Lower"策略：取小于或等于缓存图片数量的最大batchsize。	否	是
singleBatchInfer	单batch推理开关。布尔型。 0：自动根据模型的第一维，选择单batch或多batch推理。（默认为0） 1：无论模型的第一维是否为1，都只会进行单batch推理。	否	是
outputHasBatchDim	模型输出维度是否具有batch维，如果没有，推理插件会自动为输出张量增加batch维。布尔型。 0：没有。 1：有。（默认值为1）	否	是
skipModelCheck	内部调试中，请勿使用。	否	否

示例

插件会等待前面所有插件发送的数据都到达后，进入Process接口（即同步模式SYNC），对其中的MxpiTensorPackageList（或MxpiVisionList）进行组装，若组装后的张量与模型输入张量一致，则开启推理，并将推理结果输出到输出端口。

pipeline样例：

"mxpi_tensorinfer0": {
    "props": {
        "dataSource": "appsrc0,appsrc1,appsrc2",
        "modelPath": "../models/bert/bert.om"
     },
    "factory": "mxpi_tensorinfer",
    "next": "mxpi_classpostprocessor0"
},

父主题： 推理插件