Ascend C提供一组SoftMax Tiling API,方便用户获取SoftMax kernel计算时所需的Tiling参数。
获取Tiling参数主要分为如下两步:
SoftMax Tiling结构体的定义如下,开发者无需关注该tiling结构的具体信息,只需要传递到kernel侧,传入SoftMax高阶API接口,直接进行使用即可。
struct SoftMaxTiling { uint32_t srcM = 0; uint32_t srcK = 0; uint32_t srcSize = 0; uint32_t outMaxM = 0; uint32_t outMaxK = 0; uint32_t outMaxSize = 0; uint32_t splitM = 0; uint32_t splitK = 0; uint32_t splitSize = 0; uint32_t reduceM = 0; uint32_t reduceK = 0; uint32_t reduceSize = 0; uint32_t rangeM = 0; uint32_t tailM = 0; uint32_t tailSplitSize = 0; uint32_t tailReduceSize = 0; };
对于SoftMax/SimpleSoftMax请参考SoftMax/SimpleSoftMax Tiling;
对于SoftmaxFlash请参考SoftmaxFlash Tiling接口;
对于SoftmaxGrad请参考SoftmaxGrad Tiling接口;
对于SoftmaxFlashV2请参考SoftmaxFlashV2 Tiling接口;
判断SoftMaxTiling是否为基本块Tiling请参考IsBasicBlockInSoftMax。