昇腾社区首页
中文
注册

aclnnGluBackward

支持的产品型号

  • Atlas 推理系列产品。
  • Atlas 训练系列产品。
  • Atlas A2训练系列产品/Atlas 800I A2推理产品。

接口原型

每个算子分为undefined,必须先调用“aclnnGluBackwardGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnGluBackward”接口执行计算。

  • aclnnStatus aclnnGluBackwardGetWorkspaceSize(const aclTensor *gradOut, const aclTensor *self, int64_t dim, const aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
  • aclnnStatus aclnnGluBackward(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)

功能描述

  • 算子功能:GLU的反向。

  • 计算公式:

    GLU(a,b)(a,b)=cat(σ(b),σ(b)a(1σ(b)))\frac{\partial GLU(a,b)}{\partial(a,b)}=cat(\sigma(b),\sigma(b) \otimes a \otimes (1-\sigma(b)))
  • 数学计算表达式:

    假设输出的GLUGrad有两部分组成:out=[a_grad, b_grad],则: sig_b = sigmoid(b) a_grad = y_grad * sig_b b_grad = a_grad * (a - a * sig_b) 其中:y_grad 为gradOut,a表示的是输入张量根据指定dim进行均分后的前部分张量,b表示后半部分张量。

aclnnGluBackwardGetWorkspaceSize

  • 参数说明:

    • gradOut(aclTensor*): 表示梯度更新系数,数据类型支持DOUBLE,FLOAT,FLOAT16,BFLOAT16(仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持)数据类型,数据类型必须与self的数据类型一致,shape为(1,M,2)(*_1,M,*_2)其中*表示self中对应维度,M=N/2M = N /2,支持undefinedundefined支持ND。
    • self(aclTensor*): 数据类型支持DOUBLE,FLOAT,FLOAT16,BFLOAT16(仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持)数据类型,tensor的维度必须大于0,且shape必须在入参dim对应的维度上可以整除2,shape表示为(1,N,2)(*_1,N,*_2)其中*表示任何数量的附加维,NN表示dim指定的维度大小,支持undefinedundefined支持ND。
    • dim(int64_t): 表示要拆分输入self的维度,数据类型支持INT64,取值范围[-self.dim,self.dim-1]。
    • out(aclTensor*): 数据类型支持DOUBLE,FLOAT,FLOAT16,BFLOAT16(仅Atlas A2训练系列产品/Atlas 800I A2推理产品支持)数据类型,数据类型必须与self的数据类型一致,shape必须与self的shape一致,支持undefinedundefined支持ND。
    • workspaceSize(uint64_t*, 出参): 返回需要在Device侧申请的workspace大小。
    • executor(aclOpExecutor**, 出参): 返回op执行器,包含了算子计算流程。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

    [object Object]

aclnnGluBackward

  • 参数说明:

    • workspace(void *, 入参): 在Device侧申请的workspace内存地址。
    • workspaceSize(uint64_t, 入参): 在Device侧申请的workspace大小,由第一段接口aclnnGluBackwardGetWorkspaceSize获取。
    • executor(aclOpExecutor *, 入参): op执行器,包含了算子计算流程。
    • stream(aclrtStream, 入参): 指定执行任务的 AscendCL Stream流。
  • 返回值:

    aclnnStatus: 返回状态码,具体参见undefined

约束与限制

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考undefined

[object Object]