当前版本的推理服务针对Stream推理使用的是MxStreamManager类的SendMultiDataWithUniqueId和GetMultiResultWithUniqueId接口发送和获取数据的,请在该文档的相关章节参考这2个接口的描述信息,该套接口暂时不支持从中间插件输入数据和获取结果,请用户按照上述要求配置pipeline文件。建议用户使用C++、Python接口的SendMultiDataWithUniqueId和GetMultiResultWithUniqueId对pipeline文件进行调试和测试,确保结果符合预期后,再将该pipeline文件部署到推理服务。
推理配置项当中的shape向量,如果某一维度为-1,仅代表该维度是可变的维度,客户端实际发送的请求必须要指明各个维度的实际值,不能使用-1代表。
{ "PipelineSample": { "inferType": "streams", "name": "classification+detection", "path": "../pipeline/Sample.pipeline", "deviceId": 1, "timeoutMs": 3000, "inputs": [{ "name": "appsrc0", "id": 0, "dataType": "BINARY", "format": "FORMAT_NONE", "shape": [-1] }], "outputs": [{ "name": "appsink0", "id": 0, "dataType": "STRING", "format": "FORMAT_NONE", "shape": [-1] }] } }