问题概述

在基于 Atlas 900 A2 PoD 平台进行大模型训练过程中，用户在运行 Qwen 系列模型时遇到算子执行异常问题。当模型中涉及 Conv3DBackpropFilter 算子且未进行算子冻结时，训练作业报错退出，错误码为 E69999，提示“illegal format of x，输入格式不支持”。经排查，该问题与算子输入数据格式不兼容有关，尤其在使用 PyTorch 2.6.0 与 CANN 8.2.RC1 组合环境下表现明显。

本文从问题现象、根因分析到解决方案进行系统梳理，旨在为开发者提供清晰的排查路径与可复用的修复方案。

问题现象

环境信息：适用硬件栈：Atlas 900 A2 PoD产品子类：Atlas 900 A2 PoD组件分类：CANN框架版本：PyTorch 2.6.0CANN 版本：8.2.RC1

具体表现：模型训练过程中，当 Conv3DBackpropFilter 算子未被冻结时，作业在执行阶段报错，日志中出现 E69999 错误码。报错信息明确指出：op[Conv3DBackpropFilter2], illegal format of x，输入格式不支持。若手动冻结该算子，训练可正常运行，说明问题聚焦于算子执行阶段的输入格式校验。

根因分析

1. 算子输入格式校验机制Conv3DBackpropFilter 算子在 CANN 中具备严格的输入格式校验逻辑，仅支持以下特定数据格式：NCDHWFRACTAL_Z_3D（仅用于权重输入）当前输入数据格式不满足上述任一条件，导致算子无法通过校验，触发 E69999 错误。
2. 调试手段与日志定位由于缺乏 Plog 日志，初步通过打屏日志定位到 Conv3DBackpropFilter 算子执行失败。进一步通过搜索 Enter Conv3DBackpropFilter 关键词，可获取更详细的执行上下文，辅助判断输入格式是否符合要求。
3. 历史案例参考类似问题曾出现在其他用户场景中（参考 issue #7352），通过显式转换输入格式为 30 NCDHW 可成功规避问题。
4. 运行时配置影响torch_npu.npu.config.allow_internal_format：默认值为 True，允许内部格式优化，可能导致输入格式被自动转换为非标准格式，从而引发校验失败。torch_npu.npu.set_compile_mode：默认为 False，表示算子实现走 aclnn 路径，该路径对输入格式有更严格的约束。当前场景下，算子实际走 aclnn 实现路径，因此格式合规性要求更高。

解决方案

针对上述问题，提供以下两种有效修复方式，开发者可根据实际场景选择使用：

方案一：显式格式转换（推荐）

在调用 Conv3DBackpropFilter 前，使用 torch_npu.npu_format_cast 将输入张量强制转换为支持的格式：

import torch_npu

# 假设 input_tensor 为待处理的输入张量
input_tensor = input_tensor.npu()
input_tensor = torch_npu.npu_format_cast(input_tensor, 30)  # 30 表示 NCDHW 格式

✅ 说明：30 为 NCDHW 格式的格式码，确保输入符合 Conv3DBackpropFilter 的校验要求。

方案二：关闭内部格式优化

通过配置环境变量，禁止 CANN 自动进行内部格式优化，强制使用标准格式路径：

import torch_npu.npu.config

torch_npu.npu.config.allow_internal_format = False

⚠️ 注意：该配置会影响部分算子的性能表现，建议仅在格式不兼容场景下启用。

扩展知识

1. 格式转换说明

NCDHW：标准三维卷积输入格式，适用于大多数场景。

FRACTAL_Z_3D：专为权重设计的压缩格式，仅支持 Conv3D 算子的权重输入，不适用于输入数据。

参考文档：格式转换指南

2. 环境变量说明

torch_npu.npu.config.allow_internal_format控制是否允许内部格式优化。设为 False 可避免非标准格式导致的校验失败。官方文档链接

torch_npu.npu.set_compile_mode控制算子编译模式。默认为 False，走 aclnn 路径，对格式要求更严格。官方文档链接

总结

Conv3DBackpropFilter 算子在 Atlas 900 A2 PoD 平台上的执行依赖于严格的输入格式校验。当输入格式不满足 NCDHW 或 FRACTAL_Z_3D 要求时，将触发 E69999 错误。通过以下任一方式可有效解决：

使用 torch_npu.npu_format_cast 显式转换输入格式；

配置 allow_internal_format = False 禁用内部格式优化。

建议在模型调测阶段优先采用格式转换方案，兼顾兼容性与稳定性。对于长期运行场景，可结合环境变量配置进行统一管理。

本文内容基于 CANN 8.2.RC1 与 PyTorch 2.6.0 环境验证，适用于 Atlas 900 A2 PoD 平台。