接口功能

构造函数。

C++函数原型

InferTensor() = default;
InferTensor(std::string name, InferDataType dataType, std::vector<int64_t> dataShape);

Python函数

InferTensor()
InferTensor(name, data_type, data_shape)

接口参数

参数	是否必选	说明	取值要求
name	是	tensor名字。	合法的string类型。
data_type	是	tensor数据类型。	合法的InferDataType类型。
data_shape	是	tensor数据维度。	合法的满足C++ int64范围的int列表。

使用样例

构造runtime tensor。

runtime_tensor1 = llm_manager_python.InferTensor()
name = "INPUT_IDS"
shape = np.array([1,1], dtype=np.int64)
runtime_tensor2 = llm_manager_python.InferTensor(name, shape, llm_manager_python.InferDataType.TYPE_INT64)

InferTensor接口

接口功能

C++函数原型

Python函数

接口参数

使用样例