aclnnScaledMaskedSoftmax
产品支持情况
产品 | 是否支持 |
---|---|
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object] | √ |
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object] | √ |
[object Object]Atlas 200I/500 A2 推理产品[object Object] | × |
[object Object]Atlas 推理系列产品 [object Object] | × |
[object Object]Atlas 训练系列产品[object Object] | × |
功能说明
- 接口功能:将输入的数据x先进行scale缩放和mask,然后执行softmax的输出。
- 计算公式:
函数原型
每个算子分为undefined,必须先调用“aclnnScaledMaskedSoftmaxGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnScaledMaskedSoftmax”接口执行计算。
aclnnStatus aclnnScaledMaskedSoftmaxGetWorkspaceSize(const aclTensor* x, const aclTensor* mask, double scale, bool fixedTriuMask, aclTensor* y, uint64_t* workspaceSize, aclOpExecutor** executor)
aclnnStatus aclnnScaledMaskedSoftmax(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)
aclnnScaledMaskedSoftmaxGetWorkspaceSize
参数说明:
- x (aclTensor*, 计算输入):公式中的输入张量x,Device侧的aclTensor,表示输入的数据,维度需要为4维,数据类型支持FLOAT32、FLOAT16、BFLOAT16,x与mask的shape满足undefined,undefined支持ND,支持undefined。
- mask (aclTensor*, 计算输入):公式中的输入张量mask,Device侧的aclTensor,表示需要需要对x执行的掩码,数据类型支持Bool,mask在前两维上需要可以broadcast成x的shape,undefined支持ND,支持undefined。
- scale (double, 计算输入):公式中的scale,表示数据缩放的大小。
- fixedTriuMask (bool, 计算输入):表示是否需要从在算子内生成上三角的mask Tensor,仅支持False。
- y (aclTensor*, 计算输出):输出Tensor,Device侧的aclTensor,scaledMaskedX的Softmax结果,数据类型支持BFLOAT16、FLOAT16、FLOAT,数据类型和shape与x相同,undefined支持ND,支持undefined。
- workspaceSize (uint64_t*, 出参):返回需要在Device侧申请的workspace大小。
- executor (aclOpExecutor**, 出参):返回op执行器,包含算子计算流程。
返回值:
aclnnStatus: 返回状态码,具体参见undefined。
[object Object]
aclnnScaledMaskedSoftmax
参数说明:
- workspace(void*, 入参):在Device侧申请的workspace内存地址。
- workspaceSize(uint64_t, 入参):在Device侧申请的workspace大小,由第一段接口aclnnScaledMaskedSoftmaxGetWorkspaceSize获取。
- executor(aclOpExecutor*, 入参):op执行器,包含了算子计算流程。
- stream(aclrtStream, 入参):指定执行任务的Stream。
返回值:
aclnnStatus:返回状态码,具体参见undefined。
约束说明
- x的第四维需要在。
- mask的shape支持前两维和x不同,但需要满足undefined。
调用示例
示例代码如下,仅供参考,具体编译和执行过程请参考undefined。
调用示例
[object Object]