Placement

函数功能

CacheDesc的字段，表示cache所在的设备类型。

函数原型

Placement(Enum):
    HOST = 0
    DEVICE = 1

参数说明

参数名称

数据类型

取值说明

HOST

int

表示设备是host。

DEVICE

int

表示设备是device。

调用示例

1
2
from llm_datadist import CacheDesc, Placement
cpu_cache_desc = CacheDesc(num_tensors=80, shape=[50, 64], data_type=DataType.DT_FLOAT16, placement=Placement.HOST)

返回值

无。

约束说明

无