昇腾社区首页
中文
注册

aclnnScaledMaskedSoftmax

产品支持情况

产品 是否支持
[object Object]Atlas A3 训练系列产品/Atlas A3 推理系列产品[object Object]
[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件[object Object]
[object Object]Atlas 200I/500 A2 推理产品[object Object] ×
[object Object]Atlas 推理系列产品 [object Object] ×
[object Object]Atlas 训练系列产品[object Object] ×

功能说明

  • 接口功能:将输入的数据x先进行scale缩放和mask,然后执行softmax的输出。
  • 计算公式:y=Softmax((scalex)mask,dim=1)y = Softmax((scale * x) * mask, dim = -1) Softmax(Xi)=eXimax(X,dim=1)eXimax(X,dim=1)Softmax(X_i) ={e^{X_i - max(X, dim=-1)} \over \sum{e^{X_i - max(X, dim=-1)}}}

函数原型

每个算子分为undefined,必须先调用“aclnnScaledMaskedSoftmaxGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnScaledMaskedSoftmax”接口执行计算。

  • aclnnStatus aclnnScaledMaskedSoftmaxGetWorkspaceSize(const aclTensor* x, const aclTensor* mask, double scale, bool fixedTriuMask, aclTensor* y, uint64_t* workspaceSize, aclOpExecutor** executor)
  • aclnnStatus aclnnScaledMaskedSoftmax(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

aclnnScaledMaskedSoftmaxGetWorkspaceSize

  • 参数说明:

    • x (aclTensor*, 计算输入):公式中的输入张量x,Device侧的aclTensor,表示输入的数据,维度需要为4维,数据类型支持FLOAT32、FLOAT16、BFLOAT16,x与mask的shape满足undefinedundefined支持ND,支持undefined
    • mask (aclTensor*, 计算输入):公式中的输入张量mask,Device侧的aclTensor,表示需要需要对x执行的掩码,数据类型支持Bool,mask在前两维上需要可以broadcast成x的shape,undefined支持ND,支持undefined
    • scale (double, 计算输入):公式中的scale,表示数据缩放的大小。
    • fixedTriuMask (bool, 计算输入):表示是否需要从在算子内生成上三角的mask Tensor,仅支持False。
    • y (aclTensor*, 计算输出):输出Tensor,Device侧的aclTensor,scaledMaskedX的Softmax结果,数据类型支持BFLOAT16、FLOAT16、FLOAT,数据类型和shape与x相同,undefined支持ND,支持undefined
    • workspaceSize (uint64_t*, 出参):返回需要在Device侧申请的workspace大小。
    • executor (aclOpExecutor**, 出参):返回op执行器,包含算子计算流程。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

    [object Object]

aclnnScaledMaskedSoftmax

  • 参数说明:

    • workspace(void*, 入参):在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t, 入参):在Device侧申请的workspace大小,由第一段接口aclnnScaledMaskedSoftmaxGetWorkspaceSize获取。
    • executor(aclOpExecutor*, 入参):op执行器,包含了算子计算流程。
    • stream(aclrtStream, 入参):指定执行任务的Stream。
  • 返回值:

    aclnnStatus:返回状态码,具体参见undefined

约束说明

  • x的第四维需要在(0,4096](0,4096]
  • mask的shape支持前两维和x不同,但需要满足undefined

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考undefined

调用示例

[object Object]