set_token_id(self, data_type: DType, shape: np.ndarray, data: np.ndarray)

接口功能

设置token_id。

接口格式

def set_token_id(self, data_type: DType, shape: np.ndarray, data: np.ndarray)

接口参数

参数

是否必选

说明

取值要求

data_type

必选

数据类型。

DType枚举类中取值。

shape

必选

数据shape。

与data长度一致。

data

必选

具体数据,tokenId。

确保输入有效的token ids。

使用样例

import numpy as np
from sdk.dtype import DType
from sdk.data import Data
token_ids = [1,3]
data_size = len(token_ids)
shape = np.array([1, data_size], dtype=np.int64)
engine_data = Data()
engine_data.set_token_id(DType.TYPE_INT64, shape, np.array(token_ids, dtype=np.int64))

返回值