Tensor定义,包含每个Tensor的描述符、NPU内存地址、CPU内存地址和内存大小等。
“deviceData”和“hostData”至少有一个不为空。
如果“deviceData”和“hostData”都不为空,则它们所指向的数据内容与数据大小需要保持相同。
“dataSize”大小要求为“desc”中shape的dims各元素的乘积 * desc中dtype对应数据类型的大小。
struct Tensor { TensorDesc desc; void *deviceData = nullptr; void *hostData = nullptr; uint64_t dataSize = 0; };
成员名称 |
描述 |
---|---|
desc |
Tensor描述符。 |
deviceData |
NPU Tensor内存地址。 |
hostData |
CPU Tensor内存地址。 |
dataSize |
“deviceData”或“hostData”指向内容的内存大小。 |