add_tensor接口

接口功能

添加Tensor。

C++函数原型

Status AddTensor(const std::string& tensorName, TensorPtr &tensor)

Python函数

add_tensor(tensor_name, tensor)

接口参数

参数

是否必选

说明

取值要求

tensor_name

是

tensor名字。

合法的string类型。

tensor

是

tensor内容。

合法的InferTensor类型，请参考InferTensor。

使用样例

通过字符串ID，初始化构造推理请求ID和推理请求。通过name与shape为请求分配tensor，并将tensor加入对应的请求中。

1
2
3
4
5
6
7
id = '123'
request_id = llm_manager_python.InferRequestId(id)
infer_request = llm_manager_python.InferRequest(request_id)
name = "INPUT_IDS"
shape = np.array([1,1], dtype=np.int64)
runtime_tensor = llm_manager_python.InferTensor(name, shape, llm_manager_python.InferDataType.TYPE_INT64)
infer_request.add_tensor(name, runtime_tensor)
父主题： InferRequest