【优先级】中
【描述】GlobalTensor和LocalTensor中通过ShapeInfo类型的成员变量来保存shape信息,SetShapeInfo/GetShapeInfo可以设置或者获取ShapeInfo,在算子实现内部用于shape信息保存和传递。默认情况下支持的最大维度为8。在不使用上述ShapeInfo功能的情况下,不需要这些信息,可以通过K_MAX_SHAPE_DIM宏将其设置为0。经实测减小K_MAX_SHAPE_DIM值,可缩减栈空间,减少scalar指令和cache miss几率,提升算子性能。
...
#ifndef K_MAX_SHAPE_DIM
#define K_MAX_SHAPE_DIM 8
#endif
...
struct ShapeInfo {
public:
...
uint32_t shape[K_MAX_SHAPE_DIM];
uint32_t originalShape[K_MAX_SHAPE_DIM];
};
template <typename T> class GlobalTensor {
....
private:
ShapeInfo shapeInfo_;
}
template <typename T> class LocalTensor {
....
private:
ShapeInfo shapeInfo_;
}
...
【反例】
...
#include "kernel_operator.h" ...
extern "C" __global__ __aicore__ void add_custom(GM_ADDR x, GM_ADDR x, GM_ADDR z, GM_ADDR workspace, GM_ADDR tiling)
{
...
GlobalTensor<T> dataIn;
GlobalTensor<T> dataOut;
LocalTensor<T> vecIn;
LocalTensor<T> vecOut;
...
}
...
【正例】
#define K_MAX_SHAPE_DIM 0
...
#include "kernel_operator.h" //需注意定义K_MAX_SHAPE_DIM宏的位置须在包含Ascend C相关头文件之前
...
extern "C" __global__ __aicore__ void add_custom(GM_ADDR x, GM_ADDR x, GM_ADDR z, GM_ADDR workspace, GM_ADDR tiling)
{
...
GlobalTensor<T> dataIn;
GlobalTensor<T> dataOut;
LocalTensor<T> vecIn;
LocalTensor<T> vecOut;
...
}
...