SetRelease接口

接口功能

为输入张量对象设置是否需要释放数据内存标识。

接口格式

void SetRelease(bool releaseFlag)

接口参数

使用样例

std::string name = "INPUT_IDS";
mindie_llm::InferDataType dataType= mindie_llm::InferDataType::TYPE_INT64;
int64_t dataSize = 2;
std::vector<int64_t> dataShape = {1, dataSize};
auto inputsTensor = std::make_shared<mindie_llm::InferTensor>(name, dataType, dataShape);
uint64_t bufferSize = dataSize * sizeof(int64_t);
void *data = (void *)malloc(bufferSize);
inputsTensor->SetBuffer(data, bufferSize, false);
inputsTensor->SetRelease(true);

返回值

无。