设置token_id。
def set_token_id(self, data_type: DType, shape: np.ndarray, data: np.ndarray)
参数 |
是否必选 |
说明 |
取值要求 |
---|---|---|---|
data_type |
必选 |
数据类型。 |
DType枚举类中取值。 |
shape |
必选 |
数据shape。 |
与data长度一致。 |
data |
必选 |
具体数据,tokenId。 |
确保输入有效的token ids。 |
import numpy as np from sdk.dtype import DType from sdk.data import Data token_ids = [1,3] data_size = len(token_ids) shape = np.array([1, data_size], dtype=np.int64) engine_data = Data() engine_data.set_token_id(DType.TYPE_INT64, shape, np.array(token_ids, dtype=np.int64))
无