开发者
下载

__hfmax2_relu

产品支持情况

产品

是否支持

Atlas 350 加速卡

Atlas A3 训练系列产品/Atlas A3 推理系列产品

x

Atlas A2 训练系列产品/Atlas A2 推理系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品AI Core

x

Atlas 推理系列产品Vector Core

x

Atlas 训练系列产品

x

功能说明

计算输入bfloat16x2_t类型数据各分量的乘加的结果(前两个输入相乘后与第三个输入相加),并遵循CAST_RINT模式对结果进行舍入。负数结果置为0。

函数原型

1
bfloat16x2_t __hfmax2_relu(const bfloat16x2_t x, const bfloat16x2_t y, const bfloat16x2_t z)

参数说明

表1 参数说明

参数名

输入/输出

描述

x

输入

源操作数。

y

输入

源操作数。

z

输入

源操作数。

返回值说明

输入数据各分量乘加的结果。计算的分量a、b、c满足:

  • a为±inf,b为±0,返回nan。
  • a为±0,b为±inf,返回nan。
  • a*b为+inf,c为-inf,返回nan。
  • a*b为-inf,c为+inf,返回nan。
  • a*b+c超出对应类型范围的最大值,返回+inf。
  • a*b+c小于对应类型范围的最小值,返回0。
  • a、b、c任意一个为nan,返回nan。

约束说明

需要包含的头文件

使用该接口需要包含"simt_api/asc_bf16.h"头文件。

1
#include "simt_api/asc_bf16.h"

调用示例

  • SIMT编程场景:
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    // 使用短向量可提升数据搬运效率
    __global__ __launch_bounds__(1024) void simt_hfmax2_relu(bfloat16_t* x, bfloat16_t* y, bfloat16_t* z, bfloat16_t* dst, uint32_t input_total_length)
    {
        uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
        // 每个线程处理1个bfloat16x2_t类型的数据,即2个bfloat16_t类型的数据,因此idx >= input_total_length / 2的线程不处理数据
        if (idx >= input_total_length / 2) {
            return;
        }
        bfloat16x2_t* input1 = (bfloat16x2_t*)x;
        bfloat16x2_t* input2 = (bfloat16x2_t*)y;
        bfloat16x2_t* input3 = (bfloat16x2_t*)z;
        bfloat16x2_t* out = (bfloat16x2_t*)dst;
        out[idx] = __hfmax2_relu(input1[idx], input2[idx], input3[idx]);
    }
    
  • SIMD与SIMT混合编程场景:
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    15
    // 使用短向量可提升数据搬运效率
    __simt_vf__ __launch_bounds__(1024) inline void simt_hfmax2_relu(__gm__ bfloat16x2_t* x, __gm__ bfloat16x2_t* y, __gm__ bfloat16x2_t* z, __gm__ bfloat16x2_t* dst, uint32_t input_total_length)
    {
        uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
        // 每个线程处理1个bfloat16x2_t类型的数据,即2个bfloat16_t类型的数据,因此idx >= input_total_length / 2的线程不处理数据
        if (idx >= input_total_length / 2) {
            return;
        } 
        dst[idx] = __hfmax2_relu(x[idx], y[idx], z[idx]);
    }
    
    __global__ __vector__ void compute_kernel(__gm__ bfloat16_t* x, __gm__ bfloat16_t* y, __gm__ bfloat16_t* z, __gm__ bfloat16_t* dst, uint32_t input_total_length)
    {
        asc_vf_call<simt_hfmax2_relu>(dim3(1024), (__gm__ bfloat16x2_t*)x, (__gm__ bfloat16x2_t*)y, (__gm__ bfloat16x2_t*)z, (__gm__ bfloat16x2_t*)dst, input_total_length);
    }