开发者
资源

__highs2bfloat162

产品支持情况

产品

是否支持

Ascend 950PR/Ascend 950DT

Atlas A3 训练系列产品/Atlas A3 推理系列产品

x

Atlas A2 训练系列产品/Atlas A2 推理系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品AI Core

x

Atlas 推理系列产品Vector Core

x

Atlas 训练系列产品

x

功能说明

分别提取两个bfloat162输入的高16位,并填充到bfloat162中,返回填充后的数据。

函数原型

1
inline bfloat16x2_t __highs2bfloat162(const bfloat16x2_t x, const bfloat16x2_t y)

参数说明

表1 参数说明

参数名

输入/输出

描述

x

输入

源操作数。

y

输入

源操作数。

返回值说明

提取两个bfloat162输入的高16位,并填充到bfloat162中的结果。

约束说明

需要包含的头文件

使用该接口需要包含"simt_api/asc_bf16.h"头文件。

1
#include "simt_api/asc_bf16.h"

调用示例

  • SIMT编程场景:
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    // 使用小向量可提升数据搬运效率
    __aicore__ void simt_highs2bfloat162(bfloat16x2_t* input1, bfloat16x2_t* input2, bfloat16x2_t* output, uint32_t input_total_length)
    {
        uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
        // 每个线程处理1个bfloat16x2_t类型的数据,即2个bfloat16_t类型的数据,因此idx >= input_total_length / 2的线程不处理数据
        if (idx > input_total_length / 2) {
            return;
        }
        output[idx] = __highs2bfloat162(input1[idx], input2[idx]);
    }
    __global__ __launch_bounds__(1024) void cast_kernel(bfloat16_t* input1,  bfloat16_t* input2, bfloat16_t* output, uint32_t input_total_length)
    {
        simt_highs2bfloat162((bfloat16x2_t*)input1, (bfloat16x2_t*)input2, (bfloat16x2_t*)output, input_total_length);
    }
    
  • SIMD与SIMT混合编程场景:
     1
     2
     3
     4
     5
     6
     7
     8
     9
    10
    11
    12
    13
    14
    // 使用小向量可提升数据搬运效率
    __simt_vf__ __launch_bounds__(1024) inline void simt_highs2bfloat162(__gm__ bfloat16x2_t* input1, __gm__ bfloat16x2_t* input2, __gm__ bfloat16x2_t* output, uint32_t input_total_length)
    {
        uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
        // 每个线程处理1个bfloat16x2_t类型的数据,即2个bfloat16_t类型的数据,因此idx >= input_total_length / 2的线程不处理数据
        if (idx > input_total_length / 2) {
            return;
        }
        output[idx] = __highs2bfloat162(input1[idx], input2[idx]);
    }
    __global__ __vector__ void cast_kernel(__gm__ bfloat16_t* input1,  __gm__ bfloat16_t* input2, __gm__ bfloat16_t* output, uint32_t input_total_length)
    {
        asc_vf_call<simt_highs2bfloat162>(dim3(1024), (__gm__ bfloat16x2_t*)input1, (__gm__ bfloat16x2_t*)input2, (__gm__ bfloat16x2_t*)output, input_total_length);
    }