set_tensor接口

接口功能

请求的设置Tensor接口。

C++函数原型

void SetTensor(const std::string& tensorName, TensorPtr &tensor)

Python函数

set_tensor(tensor_name, tensor)

接口参数

参数

是否必选

说明

取值要求

tensor_name

是

tensor名字。

合法的string类型。

tensor

是

tensor内容。

合法的InferTensor类型，请参考InferTensor。

使用样例

通过字符串ID，初始化构造推理请求ID和推理请求。通过name为请求赋值tensor。

1
2
3
4
5
6
7
id = '123'
request_id = llm_manager_python.InferRequestId(id)
infer_request = llm_manager_python.InferRequest(request_id)
name = "INPUT_IDS"
shape = np.array([1,1], dtype=np.int64)
runtime_tensor = llm_manager_python.InferTensor(name, shape, llm_manager_python.InferDataType.TYPE_INT64)
infer_request.set_tensor(name, runtime_tensor)
父主题： InferRequest