使用说明

Ascend C提供一组SoftMax Tiling API,方便用户获取SoftMax kernel计算时所需的Tiling参数。

获取Tiling参数主要分为如下两步:

  1. 获取SoftMax接口计算所需最小和最大临时空间大小,注意该步骤不是必须的,只是作为一个参考,供合理分配计算空间。
  2. 获取输入SoftMax kernel侧接口所需tiling参数,需要传入输入shape、剩余的可供softmax接口计算的空间大小和计算的数据类型大小。

    SoftMax Tiling结构体的定义如下,开发者无需关注该tiling结构的具体信息,只需要传递到kernel侧,传入SoftMax高阶API接口,直接进行使用即可。

    struct SoftMaxTiling {
        uint32_t srcM = 0;
        uint32_t srcK = 0;
        uint32_t srcSize = 0;
        uint32_t outMaxM = 0;
        uint32_t outMaxK = 0;
        uint32_t outMaxSize = 0;
        uint32_t splitM = 0;
        uint32_t splitK = 0;
        uint32_t splitSize = 0;
        uint32_t reduceM = 0;
        uint32_t reduceK = 0;
        uint32_t reduceSize = 0;
        uint32_t rangeM = 0;
        uint32_t tailM = 0;
        uint32_t tailSplitSize = 0;
        uint32_t tailReduceSize = 0;
    };

对于SoftMax/SimpleSoftMax请参考SoftMax/SimpleSoftMax Tiling

对于SoftmaxFlash请参考SoftmaxFlash Tiling接口

对于SoftmaxGrad请参考SoftmaxGrad Tiling接口

对于SoftmaxFlashV2请参考SoftmaxFlashV2 Tiling接口

判断SoftMaxTiling是否为基本块Tiling请参考IsBasicBlockInSoftMax