--- title: SoftmaxFlashV3 description: "| 产品 | 是否支持 |" url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendcopapi/atlasascendc_api_07_10001.html sourcePath: /source/zh/canncommercial/900/API/ascendcopapi/atlasascendc_api_07_10001.html indexId: 53faef6972c5790772de67461439f559ad5cf47d24c95d2ddc6ec785b5532bda77 --- # SoftmaxFlashV3 #### 产品支持情况 | 产品 | 是否支持 | | --- | --- | | Atlas 350 加速卡 | √ | | Atlas A3 训练系列产品 / Atlas A3 推理系列产品 | √ | | Atlas A2 训练系列产品 / Atlas A2 推理系列产品 | √ | | Atlas 200I/500 A2 推理产品 | x | | Atlas 推理系列产品 AI Core | x | | Atlas 推理系列产品 Vector Core | x | | Atlas 训练系列产品 | x | #### 功能说明 SoftmaxFlash增强版本，对应Softmax PASA算法。将输入tensor[m0, m1, ..., mt, n]（t大于或等于0）的非尾轴长度m0, m1, ..., mt相乘的结果看作m，则输入tensor的shape看作[m, n]。对输入tensor x的尾轴进行切分，分块个数为splitMeanCnt，切分后的tensor为x_cnti。按如下公式进行计算，其中x、inmax、insum、inmean为输入，M、S、E、A均为输出。 - update为false： - update为true： 本接口当前只支持ND格式的输入，内部的reduce过程按last轴处理。 为方便理解，通过Python伪代码实现的方式，表达其计算公式如下。其中，repeatSize为64，elementNumPerBlk/BlkcntPerRepeat为8，splitMeanCnt为8，src、inmean、inmax、 insum、update为输入，dst、x_mean、x_sum、x_max、exp_max为输出。``` def softmax_flash_3(src, height, width, loopCnt, alpha, baseK, inmax=None, insum=None, inmean=None, update=False): scalar = alpha / (1 - alpha) #(m,n)->(m,64) tmpbuffer0 = BlockReduceSum(repeatSize, repeatSize, elementNumPerBlk) remain = int(width / repeatSize - BlkcntPerRepeat) tmpbuffer0 = Add(tmpbuffer0, src, remain, repeatSize * elementNumPerBlk, width) #(m,64)->(m,8) tmpbuffer0 = BlockReduceSum(1, elementNumPerBlk, elementNumPerBlk) #width = baseK * splitMeanCnt rowMeanLocal = tmpbuffer0 / baseK rowMeanGlobal = np.mean(src, axis=(-1), keepdims=True) rowMeanGlobalTmp = (rowMeanGlobal - rowMeanLocal) * scalar src = src - rowMeanGlobalTmp if update == False: x_mean = rowMeanGlobal maxTmp = np.max(src, axis=-1, keepdims=True) shiftCurr = (rowMeanGlobal - x_mean) * scalar x_max = shiftCurr + maxTmp maxTmp = x_max - shiftCurr x_sub = src - maxTmp dst = np.exp(x_sub) x_sum = np.sum(dst, axis=-1, keepdims=True) exp_max = None return dst, x_max, x_sum, x_mean, exp_max else: x_mean = (rowMeanGlobal + inmean * (loopCnt - 1)) / loopCnt maxTmp = np.max(src, axis=-1, keepdims=True) shiftCurr = (rowMeanGlobal - x_mean) * scalar shiftPrev = (inmean - x_mean) * scalar x_max = shiftCurr + maxTmp maxTmp = shiftPrev + inmax x_max = np.max(np.concatenate((x_max, maxTmp), axis=(-1)), axis=(-1), keepdims=True) maxTmp = x_max - shiftCurr x_sub = src - maxTmp dst = np.exp(x_sub) exp_max = np.exp(inmax - x_max + shiftPrev) x_sum = np.sum(x_exp, axis=-1, keepdims=True) x_sum = exp_max * insum + x_sum return x_exp, x_max, x_sum, x_mean, exp_max ``` #### 函数原型 - 接口框架申请临时空间 1 2 template __aicore__ inline void SoftmaxFlashV3(const LocalTensor& dstTensor, const LocalTensor& meanTensor, const LocalTensor& expSumTensor, const LocalTensor& maxTensor, const LocalTensor& srcTensor, const LocalTensor& expMaxTensor, const LocalTensor& inMeanTensor, const LocalTensor& inExpSumTensor, const LocalTensor& inMaxTensor, const SoftMaxTiling& tiling, const SoftMaxParams& params) - 通过sharedTmpBuffer入参传入临时空间 1 2 template __aicore__ inline void SoftmaxFlashV3(const LocalTensor& dstTensor, const LocalTensor& meanTensor,const LocalTensor& expSumTensor, const LocalTensor& maxTensor, const LocalTensor& srcTensor,const LocalTensor& expMaxTensor, const LocalTensor& inMeanTensor, const LocalTensor& inExpSumTensor, const LocalTensor& inMaxTensor, const LocalTensor& sharedTmpBuffer, const SoftMaxTiling& tiling, const SoftMaxParams& params) 由于该接口的内部实现中涉及复杂的计算，需要额外的临时空间来存储计算过程中的中间变量。临时空间支持接口框架申请和开发者通过sharedTmpBuffer入参传入两种方式。 - 接口框架申请临时空间，开发者无需申请，但是需要预留临时空间的大小。 - 通过sharedTmpBuffer入参传入，使用该tensor作为临时空间进行处理，接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间，并在接口调用完成后，复用该部分内存，内存不会反复申请释放，灵活性较高，内存利用率也较高。 接口框架申请的方式，开发者需要预留临时空间；通过sharedTmpBuffer传入的情况，开发者需要为tensor申请空间。临时空间大小BufferSize的获取方式如下：通过SoftmaxFlashV3 Tiling接口中提供的GetSoftMaxFlashV3MaxMinTmpSize接口获取所需最小和最大临时空间大小，最小空间可以保证功能正确，最大空间用于提升性能。 #### 参数说明 **表1 模板参数说明** | 参数名 | 描述 | | --- | --- | | T | 输入srcTensor及输出dstTensor、expMaxTensor操作数的数据类型。 Atlas 350 加速卡，支持的数据类型为：half。 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 ，支持的数据类型为：half。 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ，支持的数据类型为：half。 | | U | 输入inMeanTensor、inExpSumTensor、inMaxTensor及输出meanTensor、expSumTensor、maxTensor操作数的数据类型。 Atlas 350 加速卡，支持的数据类型为：float。 Atlas A3 训练系列产品 / Atlas A3 推理系列产品 ，支持的数据类型为：float。 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ，支持的数据类型为：float。 | | isUpdate | 是否使能update为true的计算。 | | isReuseSource | 该参数预留，传入默认值false即可。 | | isBasicBlock | 该参数预留，传入默认值false即可。 | | isDataFormatNZ | 该参数预留，传入默认值false即可。 | | config | 该参数预留，传入默认值SOFTMAX\_DEFAULT\_CFG即可。 | **表2 接口参数说明** | 参数名 | 输入/输出 | 描述 | | | | --- | --- | --- | --- | --- | | dstTensor | 输出 | 目的操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 dstTensor的shape和源操作数srcTensor一致。 | | | | meanTensor | 输出 | 目的操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 用于保存softmax计算过程中平均值的结果。 meanTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如float数据类型下，该datablock中的8个数均为相同的reducesum求平均后的值。 非last轴的长度与dstTensor保持一致。 | | | | expSumTensor | 输出 | 目的操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 用于保存softmax计算过程中reducesum的结果。 expSumTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如float数据类型下，该datablock中的8个数均为相同的reducesum的值。 非last轴的长度与dstTensor保持一致。 | | | | maxTensor | 输出 | 目的操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 用于保存softmax计算过程中reducemax的结果。 maxTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如float数据类型下，该datablock中的8个数均为相同的reducemax的值。 非last轴的长度与dstTensor保持一致。 | | | | srcTensor | 输入 | 源操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 last轴长度需要32Byte对齐。 | | | | expMaxTensor | 输出 | 目的操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 expMaxTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如half数据类型下，该datablock中的16个数均为相同的值。 非last轴的长度需要与dstTensor保持一致。 | | | | inMeanTensor | 输入 | 源操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 softmax计算所需要的mean值。 inMeanTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如float数据类型下，该datablock中的8个数均为相同的值。 非last轴的长度需要与dstTensor保持一致。 | | | | inExpSumTensor | 输入 | 源操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 softmax计算所需要的sum值。 inExpSumTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如float数据类型下，该datablock中的8个数均为相同的值。 非last轴的长度需要与dstTensor保持一致。 | | | | inMaxTensor | 输入 | 源操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 softmax计算所需要的max值。 inMaxTensor的last轴长度固定为32Byte，即一个datablock长度。该datablock中的所有数据为同一个值。比如float数据类型下，该datablock中的8个数均为相同的值。 非last轴的长度需要与dstTensor保持一致。 | | | | sharedTmpBuffer | 输入 | 临时空间。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 该操作数的数据类型固定uint8\_t。 接口内部复杂计算时用于存储中间变量，由开发者提供。 临时空间大小BufferSize的获取方式请参考SoftmaxFlashV3 Tiling接口。 | | | | tiling | 输入 | SoftmaxFlashV3接口计算所需Tiling信息，Tiling信息的获取请参考SoftmaxFlashV3 Tiling接口。 | | | | params | 输入 | srcTensor的shape信息和计算相关参数。SoftMaxParams类型，具体定义如下： 1 2 3 4 5 6 7 8 9 struct SoftMaxParams { uint32\_t srcM; // 非尾轴长度的乘积 uint32\_t srcK; // 尾轴长度，必须32Byte对齐 uint32\_t oriSrcM; // 原始非尾轴长度的乘积 uint32\_t oriSrcK; // 原始尾轴长度 uint32\_t loopCnt; // update为true时，公式中的循环次数loopCnt，该参数大于等于1 uint32\_t splitMeanCnt; // 公式中计算每一行平均值时的分块个数，当前该参数仅支持取值为8 float alpha; // 公式中的计算参数，推荐取值0.9375、0.96889、0.984497 }; 注意，当前本接口不支持非对齐场景，因此参数srcM与oriSrcM相等，参数srcK与oriSrcK相等。 | 1 2 3 4 5 6 7 8 9 | struct SoftMaxParams { uint32\_t srcM; // 非尾轴长度的乘积 uint32\_t srcK; // 尾轴长度，必须32Byte对齐 uint32\_t oriSrcM; // 原始非尾轴长度的乘积 uint32\_t oriSrcK; // 原始尾轴长度 uint32\_t loopCnt; // update为true时，公式中的循环次数loopCnt，该参数大于等于1 uint32\_t splitMeanCnt; // 公式中计算每一行平均值时的分块个数，当前该参数仅支持取值为8 float alpha; // 公式中的计算参数，推荐取值0.9375、0.96889、0.984497 }; | | 1 2 3 4 5 6 7 8 9 | struct SoftMaxParams { uint32\_t srcM; // 非尾轴长度的乘积 uint32\_t srcK; // 尾轴长度，必须32Byte对齐 uint32\_t oriSrcM; // 原始非尾轴长度的乘积 uint32\_t oriSrcK; // 原始尾轴长度 uint32\_t loopCnt; // update为true时，公式中的循环次数loopCnt，该参数大于等于1 uint32\_t splitMeanCnt; // 公式中计算每一行平均值时的分块个数，当前该参数仅支持取值为8 float alpha; // 公式中的计算参数，推荐取值0.9375、0.96889、0.984497 }; | | | | #### 返回值说明 无 #### 约束说明 - 操作数地址对齐要求请参见 通用地址对齐约束 。 - 对于输入srcTensor需要满足：尾轴长度n大于等于512，同时n是64的倍数；非尾轴长度的乘积m为8的倍数。 - srcTensor和dstTensor的Tensor的空间可以复用，meanTensor和inMeanTensor的空间可以复用，maxTensor和inMaxTensor的空间可以复用，expSumTensor和inExpSumTensor的空间可以复用。 - meanTensor、expSumTensor、maxTensor、expMaxTensor、inMeanTensor、inExpSumTensor、inMaxTensor的Tensor空间，last轴长度必须是32字节。 - 不支持sharedTmpBuffer与源操作数和目的操作数地址重叠。 #### 调用示例 本样例中输入srcTensor和输出dstTensor的shape大小为[8, 1024]，输入inMeanTensor、inExpSumTensor、inMaxTensor的shape大小为[8, 8]，数据类型为float；输出expMaxTensor的shape大小为[8, 16]，数据类型为half；输入和输出的数据排布格式为ND，srcTensor和dstTensor空间不复用，模板参数isUpdate为true。算子样例请参考softmaxflashv3算子样例(https://gitcode.com/cann/asc-devkit/tree/9.0.0/examples/01_simd_cpp_api/03_libraries/01_activation/softmaxflashv3)。``` // dstLocal: 存放SoftMax计算结果的Tensor // meanLocal：存放SoftMax计算过程中平均值的结果 // expSumLocal：存放SoftMax计算过程中reducesum的结果 // maxLocal：存放SoftMax计算过程中reducemax的结果 // srcLocal：存放SoftMax计算的输入Tensor // expMaxLocal：存放inmax与reducemax差值的e的指数幂的结果 // inMeanLocal：存放SoftMax计算所需要的mean值 // inExpSumLocal：存放SoftMax计算所需要的sum值 // inMaxLocal：存放SoftMax计算所需要的max值 // sharedTmpBuffer: 存放SoftMax计算过程中临时缓存的Tensor // softmaxTiling：存放SoftMax计算所需Tiling信息，可通过SoftMaxFlashV3TilingFunc接口获取 AscendC::SoftMaxParams params( /* 非尾轴长度的乘积 */ srcM, /* 尾轴长度，必须32Bytes对齐 */ srcK, /* 原始非尾轴长度的乘积 */ oriSrcM, /* 原始尾轴长度 */ oriSrcK, /* 循环次数，update为true时大于等于1 */ loopCn, /* 公式中计算每一行平均值时的分块个数，仅支持为8 */ splitMeanCnt, /* 计算参数，推荐取值0.9375、0.96889、0.984497 */ alpha ); // 通过sharedTmpBuffer入参传入临时空间 AscendC::SoftmaxFlashV3(dstLocal, meanLocal, expSumLocal, maxLocal, srcLocal, expMaxLocal, inMeanLocal, inExpSumLocal, inMaxLocal, sharedTmpBuffer, tiling, params); // 接口框架申请临时空间 AscendC::SoftmaxFlashV3(dstLocal, meanLocal, expSumLocal, maxLocal, srcLocal, expMaxLocal, inMeanLocal, inExpSumLocal, inMaxLocal, tiling, params); ``` 结果示例如下： ``` 输入数据(srcLocal)： [[ 0. 0.001221 0.002441 ... 2.496 2.498 2.498 ] [ 2.5 2.502 2.502 ... 4.996 4.996 5. ] [ 5. 5. 5.004 ... 7.496 7.496 7.5 ] [12.5 12.5 12.5 ... 15. 15. 15. ] [15. 15. 15. ... 17.5 17.5 17.5 ] [17.5 17.5 17.5 ... 20. 20. 20. ]] 输入数据(inMeanLocal/inExpSumLocal/inMaxLocal)： [[0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5] [0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5] [0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5] [0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5]] 输出数据(dstLocal)： [[0.0049 0.004906 0.004913 ... 0.998 1. 1. ] [0.00488 0.00489 0.00489 ... 0.996 0.996 1. ] [0.004868 0.004868 0.004887 ... 0.996 0.996 1. ] [0.004894 0.004894 0.004894 ... 1. 1. 1. ] [0.00472 0.00472 0.00472 ... 1. 1. 1. ] [0.004684 0.004684 0.004684 ... 1. 1. 1. ]] ```