昇腾社区首页
中文
注册

--aicore_num

产品支持情况

产品

是否支持

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas 200I/500 A2 推理产品

Atlas 推理系列产品

Atlas 训练系列产品

功能说明

用于配置模型编译时使用的AI Core核数。

关联参数

无。

参数取值

参数值:"整数1|整数2",中间使用“|”分割。

  • 场景1:针对如下产品,整数1表示算子编译时使用的AI Core-CubeCore核数,整数2表示算子编译时使用的AI Core-VectorCore核数,整数1与整数2都需要大于0,小于等于昇腾AI处理器包含的最大AICore-CubeCore和AICore-VectorCore数量:

    Atlas A3 训练系列产品/Atlas A3 推理系列产品

    Atlas A2 训练系列产品/Atlas 800I A2 推理产品/A200I A2 Box 异构组件

  • 场景2:针对如下产品,仅需配置整数1,配置格式为:"整数1|",配置整数2不会生效,表示算子编译时使用的AI Core核数:

    Atlas 200I/500 A2 推理产品

    Atlas 推理系列产品

    Atlas 训练系列产品

参数值约束

  • 针对参数值中的场景1:
    不同产品型号昇腾AI处理器包含的最大AICore-CubeCore与AICore-VectorCore的数量可从"${INSTALL_DIR}/<arch>-linux/data/platform_config/xxx.ini"文件查看,如下所示,说明昇腾AI处理器上存在24个AICore-CubeCore,48个存在AICore-VectorCore。
    [SoCInfo]
    # 参数配置为默认值,默认值即为最大值
    ai_core_cnt=24
    cube_core_cnt=24
    vector_core_cnt=48
  • 针对参数值中的场景2:
    不同产品型号昇腾AI处理器包含的最大AI Core数量可从"${INSTALL_DIR}/<arch>-linux/data/platform_config/xxx.ini"文件查看,如下所示,说明昇腾AI处理器上存在10个AI Core。
    [SoCInfo]
    # AI Core默认值,默认值即为最大值
    ai_core_cnt=10
    vector_core_cnt=8
  • 如果配置该参数的同时启用了算子编译缓存功能(--op_compiler_cache_mode参数配置为“enable”或者“force”),此参数仅在首次编译时生效。若您想在非首次编译时生效该参数,需要清理编译磁盘的缓存。

其中,${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包,以root安装举例,则安装后文件存储路径为:/usr/local/Ascend/ascend-toolkit/latest。<arch>表示具体操作系统架构,xxx请根据实际产品型号进行选择。

推荐配置及收益

无。

示例

  • 场景1配置示例:
    --aicore_num="24|48"
  • 场景2配置示例
    --aicore_num="10|"

依赖约束

无。