Tensor

说明

Tensor定义,包含每个Tensor的描述符、NPU内存地址、CPU内存地址和内存大小等。

约束

“deviceData”“hostData”至少有一个不为空。

如果“deviceData”“hostData”都不为空,则它们所指向的数据内容与数据大小需要保持相同。

“dataSize”大小要求为“desc”shape的dims各元素的乘积 * desc中dtype对应数据类型的大小

定义

struct Tensor {
    TensorDesc desc;
    void *deviceData = nullptr;
    void *hostData = nullptr;
    uint64_t dataSize = 0;
};

成员

成员名称

描述

desc

Tensor描述符。

deviceData

NPU Tensor内存地址。

hostData

CPU Tensor内存地址。

dataSize

“deviceData”“hostData”指向内容的内存大小。