Placement
函数功能
CacheDesc的字段，表示cache所在的设备类型。
函数原型
Placement(Enum):
HOST = 0
DEVICE = 1
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
HOST |
int |
表示设备是host。 |
DEVICE |
int |
表示设备是device。 |
调用示例
from llm_datadist import CacheDesc, Placement cpu_cache_desc = CacheDesc(num_tensors=80, shape=[50, 64], data_type=DataType.DT_FLOAT16, placement=Placement.HOST)
返回值
无。
约束说明
无