ModelInference
函数功能
用于执行模型推理。需要先执行Init方法初始化模型。
函数原型
APP_ERROR ModelInference (
std::vector<BaseTensor>& inputTensors,
std::vector<BaseTensor>& outputTensors,
size_t dynamicBatchSize = 0
);
APP_ERROR ModelInference (
std::vector<BaseTensor>& inputTensors,
std::vector<BaseTensor>& outputTensors,
DynamicInfo dynamicInfo
);
APP_ERROR ModelInference (
const std::vector<TensorBase>& inputTensors,
std::vector<TensorBase>& outputTensors,
DynamicInfo dynamicInfo
);
参数说明
参数名 |
输入/输出 |
说明 |
|---|---|---|
inputTensors |
输入 |
输入张量，模型推理的输入数据。 |
outputTensors |
输出 |
输出张量，模型推理的输出数据。 |
dynamicBatchSize |
输入 |
指定模型推理时的批量大小Batch。 |
dynamicInfo |
输入 |
动态Batch的信息。 |
返回参数说明
数据结构 |
说明 |
|---|---|
APP_ERROR |
程序执行返回的错误码，请参考APP_ERROR说明。 |