---
title: AIV通信算子执行失败
description: "针对 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ，在通过export HCCL_OP_EXPANSION_MODE=\"AIV\"开启AIV模式之后，部分场景下HCCL会以kernel的执行方式实现HCCL通信算子的编排及执行，此时若通信算子执行异常，在日志中会有一行如下关键日志打印\"fault kernel_name=aiv_all_reduce_***\"表明当前为HCCL的aiv算子执行失败："
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/hcclug/hcclug_000062.html
sourcePath: /source/zh/canncommercial/900/API/hcclug/hcclug_000062.html
indexId: a0592efe2dc6afb8292052ff5e06b20b2d1184f29790069db61dc1c6aaaedc7659
---
# AIV通信算子执行失败

#### 问题现象

针对 Atlas A2 训练系列产品 / Atlas A2 推理系列产品 ，在通过export HCCL_OP_EXPANSION_MODE="AIV"开启AIV模式之后，部分场景下HCCL会以kernel的执行方式实现HCCL通信算子的编排及执行，此时若通信算子执行异常，在日志中会有一行如下关键日志打印"fault kernel_name=aiv_all_reduce_***"表明当前为HCCL的aiv算子执行失败：

```
[ERROR] RUNTIME(699131,python):2025-04-24-21:54:17.707.236 [davinci_kernel_task.cc:1268]699131 PrintErrorInfoForDavinciTask:[INIT][DEFAULT]Aicore kernel execute failed, device_id=0, stream_id=2, report_stream_id=2, task_id=55873, flip_num=2073,
fault kernel_name=aiv_all_reduce_***
, fault kernel info ext=aiv_all_reduce_910b_bfloat16_t, program id=42, hash=9645272693770703471.
```


此外也会有上述同样的task exception信息打印，解决方式都可以通过notify wait超时（EI0002）排查思路分析任务失败的根因，如是否全量超时、是否集群中存在某个先发生异常的节点等。