Power

产品支持情况

功能说明

实现按元素做幂运算功能，提供3类接口，处理逻辑如下：

函数原型

• Power(dstTensor, src0Tensor, src1Tensor)
  • 通过sharedTmpBuffer入参传入临时空间
    • 源操作数Tensor全部/部分参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const LocalTensor<T>& src1Tensor, const LocalTensor<uint8_t>& sharedTmpBuffer, uint32_t calCount)

    • 源操作数Tensor全部参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const LocalTensor<T>& src1Tensor, const LocalTensor<uint8_t>& sharedTmpBuffer)

  • 接口框架申请临时空间
    • 源操作数Tensor全部/部分参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const LocalTensor<T>& src1Tensor, uint32_t calCount)

    • 源操作数Tensor全部参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const LocalTensor<T>& src1Tensor)

• Power(dstTensor, src0Tensor, src1Scalar)
  • 通过sharedTmpBuffer入参传入临时空间
    • 源操作数Tensor全部/部分参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const T& src1Scalar, const LocalTensor<uint8_t>& sharedTmpBuffer, uint32_t calCount)

    • 源操作数Tensor全部参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const T& src1Scalar, const LocalTensor<uint8_t>& sharedTmpBuffer)

  • 接口框架申请临时空间
    • 源操作数Tensor全部/部分参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const T& src1Scalar, uint32_t calCount)

    • 源操作数Tensor全部参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const LocalTensor<T>& src0Tensor, const T& src1Scalar)

• Power(dstTensor, src0Scalar, src1Tensor)
  • 通过sharedTmpBuffer入参传入临时空间
    • 源操作数Tensor全部/部分参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const T& src0Scalar, const LocalTensor<T>& src1Tensor, const LocalTensor<uint8_t>& sharedTmpBuffer, uint32_t calCount)

    • 源操作数Tensor全部参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const T& src0Scalar, const LocalTensor<T>& src1Tensor, const LocalTensor<uint8_t>& sharedTmpBuffer)

  • 接口框架申请临时空间
    • 源操作数Tensor全部/部分参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const T& src0Scalar, const LocalTensor<T>& src1Tensor, uint32_t calCount)

    • 源操作数Tensor全部参与计算

      1 2	template <typename T, bool isReuseSource = false, const PowerConfig& config = defaultPowerConfig> __aicore__ inline void Power(const LocalTensor<T>& dstTensor, const T& src0Scalar, const LocalTensor<T>& src1Tensor)

由于该接口的内部实现中涉及复杂的数学计算，需要额外的临时空间来存储计算过程中的中间变量。临时空间支持接口框架申请和开发者通过sharedTmpBuffer入参传入两种方式。

• 接口框架申请临时空间，开发者无需申请，但是需要预留临时空间的大小。

• 通过sharedTmpBuffer入参传入，使用该tensor作为临时空间进行处理，接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间，并在接口调用完成后，复用该部分内存，内存不会反复申请释放，灵活性较高，内存利用率也较高。

接口框架申请的方式，开发者需要预留临时空间；通过sharedTmpBuffer传入的情况，开发者需要为sharedTmpBuffer申请空间。临时空间大小BufferSize的获取方式如下：通过GetPowerMaxMinTmpSize中提供的GetPowerMaxMinTmpSize接口获取需要预留空间的范围大小。

参数说明

1
2
3
4
5
6
7
8

enum class PowerAlgo {
    INTRINSIC = 0,
    DOUBLE_FLOAT_TECH, 
};

struct PowerConfig {
    PowerAlgo algo = PowerAlgo::INTRINSIC;
};

返回值说明

无

约束说明

• 不支持源操作数与目的操作数地址重叠。
• 对于Atlas 推理系列产品AI Core，幂运算的指数必须小于2³¹-1。
• 操作数地址对齐要求请参见通用地址对齐约束。

调用示例

完整的调用样例请参考Power样例。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

// dstLocal: 存放计算结果的Tensor
// srcLocalExp: Power计算使用的指数Tensor
// srcLocalBase: Power计算使用的底数Tensor

// 使用srcLocalBase做底数对srcLocalExp中的全部元素做幂运算
AscendC::Power<T, false>(dstLocal, srcLocalBase, srcLocalExp);

// scalarValueBase: Power计算使用的底数
T scalarValueBase = srcLocalBase.GetValue(0);
// 使用同一个底数scalarValueBase对srcLocalExp中的全部元素做幂运算
AscendC::Power<T, false>(dstLocal, scalarValueBase, srcLocalExp);

// scalarValueExp: Power计算使用的指数
T scalarValueExp = srcLocalExp.GetValue(0);
// 使用同一个指数scalarValueExp对srcLocalBase中的全部元素做幂运算
AscendC::Power<T, false>(dstLocal, srcLocalBase, scalarValueExp);

// static constexpr AscendC::PowerConfig config = { AscendC::PowerAlgo::DOUBLE_FLOAT_TECH };
// AscendC::Power<srcType, false, config>(dstLocal, scalarValue, srcLocal2);

输入数据(srcLocalBase): [2 3 4 5 6 7 8 9]
输入数据(srcLocalExp): [4 3 2 1 4 3 2 1]
输出数据(dstLocal): [16 27 16 5 1296 343 64 9]

输入数据(scalarValueBase): 2
输入数据(srcLocalExp): [4 3 2 1 4 3 2 1]
输出数据(dstLocal): [16 8 4 2 16 8 4 2]

输入数据(srcLocalBase): [2 3 4 5 6 7 8 9]
输入数据(scalarValueExp): 4
输出数据(dstLocal): [16 81 256 625 1296 2401 4096 6561]