用于执行模型推理。需要先执行Init方法初始化模型。
1 | APP_ERROR ModelInferenceProcessor::ModelInference(std::vector<BaseTensor>& inputTensors, std::vector<BaseTensor>& outputTensors, size_t dynamicBatchSize = 0); |
1 | APP_ERROR ModelInferenceProcessor::ModelInference(std::vector<BaseTensor>& inputTensors, std::vector<BaseTensor>& outputTensors, DynamicInfo dynamicInfo); |
1 | APP_ERROR ModelInferenceProcessor::ModelInference(const std::vector<TensorBase>& inputTensors, std::vector<TensorBase>& outputTensors, DynamicInfo dynamicInfo); |
参数名 |
输入/输出 |
说明 |
|---|---|---|
inputTensors |
输入 |
输入张量，模型推理的输入数据。 |
outputTensors |
输出 |
输出张量，模型推理的输出数据。 |
dynamicBatchSize |
输入 |
指定模型推理时的批量大小Batch。 |
dynamicInfo |
输入 |
动态Batch的信息。 |
数据结构 |
说明 |
|---|---|
APP_ERROR |
程序执行返回的错误码，请参考APP_ERROR说明。 |