算子工程编译拓展

使用msOpGen工具创建算子工程时，相关编译脚本被固化在本地，若需使用算子工程提供的新特性（比如支持MC2算子等），需重新运行msOpGen工具生成工程。为了解决开发者因功能更新而频繁重建工程的问题，将算子工程的cmake脚本打包到CANN软件包中。开发者可通过find_package的形式来查找对应的cmake modules包，从而使用算子工程对外提供的cmake函数接口。

该开发方式下，开发者参考如下工程目录，自行组织算子工程。目录结构与通过msOpGen生成的目录结构类似, 但无需再创建cmake与scripts目录，这些目录被打包至CANN软件包中。以AddCustom算子为例，目录结构如下：

AddCustom
├── CMakeLists.txt              // 算子工程顶层CMakeLists.txt
├── CMakePresets.json           // 编译配置项，cmake内置功能，若使能则需3.19及以上cmake版本
├── framework                   // AI框架适配时，算子插件实现文件目录
├── op_host                     // Host侧实现文件
│   ├── add_custom.cpp         // 算子原型注册、Shape推导、Tiling实现等内容文件
│   ├── add_custom_tiling.h    // 算子Tiling定义文件
│   └── CMakeLists.txt         // Host侧CMakeLists文件
├── op_kernel                   // Kernel侧实现文件
│   ├── Add
│   │   ├── add_custom.cpp    // 算子代码实现文件
└   └── CMakeLists.txt         // Kernel侧CMakeLists文件

CMakeLists.txt编写方法

编译环境选项说明

下表列出了供用户配置和使用的编译环境选项：

  • 暂不支持设置Release、Debug版本相关选项。
  • 暂不支持交叉编译相关选项。
表1 编译环境选项

类型

环境选项

默认值

说明

STRING

vendor_name

customize

标识自定义算子所属厂商的名称。建议开发者自行指定所属厂商名称，避免和其他厂商提供的算子包冲突。

STRING

ASCEND_COMPUTE_UNIT

-

AI处理器型号。编译对应型号的package。

PATH

ASCEND_AUTOGEN_PATH

<CMAKE_BINARY_DIR>/autogen

通过npu_op_code_gen生成的aclnn单算调用、入图所需算子原型库等源文件存放路径。

BOOL

ENABLE_SOURCE_PACKAGE

TRUE

是否开启源码编译。

如果使用npu_op_package配置了源码和二进制编译相关配置，npu_op_package配置的优先级更高。

BOOL

ENABLE_BINARY_PACKAGE

TRUE

是否开启二进制编译。

package的类型配置为SHARED或STATIC时，必须指定为TRUE。

如果使用npu_op_package配置了源码和二进制编译相关配置，npu_op_package配置的优先级更高。

PATH

ASCEND_CANN_PACKAGE_PATH

-

CANN软件包路径，默认情况下用户无需配置。开发者可以在编写cmake文件时直接使用。

路径示例如下：/usr/local/Ascend/cann。

上述编译环境选项可通过两种方式进行配置：

编译命令说明

package的类型配置为RUN时，可参考如下编译命令进行编译，使用cmake的pack能力生成run包。

# 工程根目录下执行
mkdir -p build_out
rm -rf build_out/*
cmake -S . -B build_out --preset=default
cmake --build build_out --target binary -j${nproc}
cmake --build build_out --target package -j${nproc}

package的类型配置为SHARED或STATIC时，可参考如下编译命令进行编译：

# 工程根目录下执行
mkdir -p build_out
rm -rf build_out/*
cmake -S . -B build_out --preset=default
cmake --build build_out --target binary -j${nproc}
cmake --build build_out --target install -j${nproc}

cmake函数说明

提供如下cmake函数供开发者使用：

类型

接口

功能

package

npu_op_package

创建一个package。

npu_op_package_add

将目标或文件添加到package中。

library

npu_op_library

创建Host侧库。

npu_op_kernel_library

创建Kernel侧库。

npu_op_kernel_options

添加Kernel目标编译选项。

npu_op_kernel_sources

描述Kernel目标的源码信息。

npu_op_device_tiling_library

创建Device侧Tiling库。

其他

npu_op_code_gen

执行代码生成过程，生成aclnn单算子调用代码和入图所需的原型定义代码。
  1. npu_op_package

    创建一个package。

    npu_op_package(<package_name> TYPE <type> [CONFIG] [ENABLE_SOURCE_PKG <value>] [ENABLE_BINARY_PACKAGE <value>] [INSTALL_PATH <path>])
    参数说明如下：
    • <package_name>：必选，package的名称。
    • TYPE <type>：必选，package的类型，取值为RUN、SHARED、STATIC。分别对应算子run包形式、算子动态库形式与算子静态库形式。
    • [CONFIG]：可选，用于配置package的内容和安装位置。
      • [ENABLE_SOURCE_PKG <value>]：可选，是否将源码打包到package中，默认为True。
      • [ENABLE_BINARY_PACKAGE <value>] ：可选，是否将二进制文件打包到package中，默认为True。
      • [INSTALL_PATH <path>]：可选，指定包的安装路径，默认为CMAKE_BINARY_DIR。
      • [ENABLE_CPACK <value>] ：可选，是否打包，默认为True。对于用户需要定制打包的场景，可以设置为False，配置为False的情况下直接在<path>路径下生成编译产物，不会打包为run包。
  2. npu_op_package_add

    将目标或文件添加到package中。

    # 添加目标
npu_op_package_add(<package_name> LIBRARY <target_name1> [<target_name2>...] ) 
# 添加文件，仅给run包模式使用
npu_op_package_add(<package_name> FILES <file_name1> [<file_name2>...] [TYPE <target_type>] [PACKAGE_PATH <pkg_path>])

    参数说明如下：

    • <package_name>：必选，package的名称。
    • LIBRARY：必选，指定需要添加到package中的目标名称。
      • <target_name1> [<target_name2>...]：必选，目标名称列表。
    • FILES：必选，指定需要添加到package中的文件名称。
      • <file_name1> [<file_name2>...]：必选，文件名称列表。
    • [TYPE <target_type>]：可选，指定文件类型，将文件安装到对应的目录中，取值为ACLNN、GRAPH。配置为ACLNN，会将文件打包至run包目录下aclnn单算子调用头文件所在目录，配置为GRAPH，会将文件打包至run包目录下入图原型定义头文件目录下。
    • [PACKAGE_PATH <pkg_path>]：可选，指定文件在包中的相对路径位置。TYPE和PACKAGE_PATH参数互斥，即只能选择其中一个进行配置。
  3. npu_op_library

    创建Host侧库。

    npu_op_library(<library_name> TYPE <library_type> <files>)

    参数说明如下：

    • <library_name>：必选，Host侧库的名称。
    • TYPE <library_type>：必选，Host库的类型，可选值为TILING、ACLNN、GRAPH、TF_PLUGIN。
      • TILING，Tiling相关库。
      • ACLNN，aclnn单算子调用库。
      • GRAPH，算子入图所需的算子原型库。
      • TF_PLUGIN，TensorFlow框架适配相关库。
    • <files>：必选，设置参与编译的源文件。
  4. npu_op_kernel_library

    创建Kernel侧库。

    npu_op_kernel_library(<target_name> SRC_BASE <path> TILING_LIBRARY <tiling_target>)

    参数说明如下：

    • <target_name>：必选，目标的名称。
    • SRC_BASE <path>：必选，指定Kernel源码的base目录，要求配置绝对路径。比如示例中的op_kernel目录的绝对路径。
    • TILING_LIBRARY <tiling_target>：必选，指定依赖的Tiling目标。
  5. npu_op_kernel_options
    添加Kernel目标编译选项。
    npu_op_kernel_options(<target_name> <op_type> [COMPUTE_UNIT <soc_version>] OPTIONS …)

    参数说明如下：

    • <target_name>：必选，目标的名称。
    • <op_type>：必选，定义配置生效的范围，取值为ALL、OP_TYPE。ALL表示对所有算子生效，OP_TYPE表示对特定算子生效。
    • [COMPUTE_UNIT <soc_version>]：可选，用于设置算子在具体AI处理器型号上的编译选项，不填写该选项时默认对所有型号生效。

      <soc_version>具体配置如下：

      • 针对如下产品：在安装AI处理器的服务器执行npu-smi info命令进行查询，获取Name信息。实际配置值为AscendName，例如Name取值为xxxyy，实际配置值为Ascendxxxyy。

        Atlas A2 训练系列产品/Atlas A2 推理系列产品

        Atlas 200I/500 A2 推理产品

        Atlas 推理系列产品

        Atlas 训练系列产品

      • 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品，在安装AI处理器的服务器执行npu-smi info -t board -i id -c chip_id命令进行查询，获取Chip Name和NPU Name信息，实际配置值为Chip Name_NPU Name。例如Chip Name取值为Ascendxxx，NPU Name取值为1234，实际配置值为Ascendxxx_1234。其中：
        • id：设备id，通过npu-smi info -l命令查出的NPU ID即为设备id。
        • chip_id：芯片id，通过npu-smi info -m命令查出的Chip ID即为芯片id。
      • 针对Atlas 350 加速卡，在安装AI处理器的服务器执行npu-smi info -t board -i id命令进行查询，获取Chip Name和NPU Name信息，实际配置值为Chip Name_NPU Name。例如Chip Name取值为Ascendxxx，NPU Name取值为1234，实际配置值为Ascendxxx_1234。

        其中，id为设备id，通过npu-smi info -l命令查出的NPU ID即为设备id。

    • OPTION...： 必选，传递给编译器的编译选项。
  6. npu_op_kernel_sources

    描述Kernel目标的源码信息，包括设置算子的Kernel实现文件和源码路径等。

    npu_op_kernel_sources(<target_name> [OP_TYPE <op_type>] [KERNEL_DIR <path>] [COMPUTE_UNIT <soc_version>] [KERNEL_FILE <file>])

    参数说明如下：

    • <target_name>：必选，目标的名称。
    • [OP_TYPE <op_type>]：可选，算子类型，必须与KERNEL_FILE同时存在。
    • [KERNEL_DIR <path>]：可选，指定Kernel源码相对于SRC_BASE的相对路径。

      若算子的源码文件没有平铺在SRC_BASE目录（通过npu_op_kernel_library设置）下，可以通过KERNEL_DIR指定特定目录。

    • [COMPUTE_UNIT <soc_version>] ：可选，设置KERNEL_FILE在<soc_version>型号生效。默认KERNEL_FILE对所有型号生效。
    • [KERNEL_FILE <file>]：可选，指定算子入口的Kernel实现文件名。

      若算子的Kernel实现cpp文件需要自定义命名，需同时指定OP_TYPE（算子类型）和KERNEL_FILE（Kernel实现cpp文件名），以配置两者之间的对应关系。不配置时，Kernel实现cpp文件名和OpType之间需满足转换规则。

  7. npu_op_device_tiling_library

    创建Device侧Tiling库。使用该选项时，package的类型仅支持配置为RUN（run包模式）。

    npu_op_device_tiling_library(<target_name> <type> <files>)

    参数说明如下：

    • <target_name>：必选，目标的名称。
    • <type>：必选，指定Tiling产物的类型。支持取值为SHARED、STATIC。
    • <files>：必选，指定Tiling源码文件。
  8. npu_op_code_gen

    执行代码生成过程，生成aclnn单算子调用代码和入图所需的原型定义代码。

    npu_op_code_gen(SRC <src_files> OUT_DIR <output_dir> PACKAGE <pkg_name> [COMPILE_OPTIONS ...])

    参数说明如下：

    • SRC <src_files>：必选，参与代码生成的源文件范围。
    • OUT_DIR <output_dir>：必选，生成代码的输出路径。
    • PACKAGE <pkg_name>：必选，指定生成代码的package名称。
    • [COMPILE_OPTIONS ...]：可选，自定义编译过程中的编译选项。
父主题： 工程化算子开发