SoftmaxFlash Tiling接口

功能说明

用于获取SoftmaxFlash Tiling参数。

函数原型

uint32_t GetSoftMaxFlashMaxTmpSize(const ge::Shape srcShape, const uint32_t dataTypeSize, bool isUpdate,

const bool isReuseSource)

uint32_t GetSoftMaxFlashMinTmpSize(const ge::Shape srcShape, const uint32_t dataTypeSize, const bool isUpdate,

const bool isReuseSource)

void SoftMaxFlashTilingFunc(const ge::Shape srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize,

optiling::SoftMaxTiling& softmaxFlashTiling, bool isUpdate = false)

参数说明

表1 SoftmaxFlash GetSoftMaxFlashMaxTmpSize/GetSoftMaxFlashMinTmpSize接口参数列表

接口

输入/输出

功能

srcShape

输入

输入srcTensor的shape信息。

dataTypeSize

输入

参与计算的maxTensor和sumTensor的数据类型,比如half=2。

isUpdate

输入

是否使能刷新功能,和kernel侧SoftmaxFlash接口一致,默认false。

isReuseSource

输入

dstTensor是否复用srcTensor的空间,与kernel侧接口一致。

表2 SoftmaxFlash SoftMaxFlashTilingFunc接口参数列表

接口

输入/输出

功能

srcShape

输入

输入srcTensor的shape信息。

localWorkSpaceSize

输入

剩余的可供SoftmaxFlash接口计算的空间大小,单位为Byte。

dataTypeSize

输入

参与计算的maxTensor和sumTensor的数据类型,比如half=2。

isUpdate

输入

是否使能刷新功能,和kernel侧SoftmaxFlash接口一致,默认false。

softmaxFlashTiling

输出

输出SoftmaxFlash接口所需的tiling信息。

返回值

GetSoftMaxFlashMaxTmpSize返回softmaxflash接口能完成计算所需最大临时空间大小,单位为Byte。

GetSoftMaxFlashMinTmpSize返回softmaxflash接口能完成计算所需最小临时空间大小,单位为Byte。