背景概述在使用 MindSpore Transformers 框架进行模型训练时，可能遇到因 NPU 片上内存（Device Memory）配置不当导致的训练作业异常退出问题。问题现象训练作业在使用 MindSpore Transformers 框架时异常退出，报错码为 EL0003，明确指向 NPU 设备内存超限（Device OOM）。原因分析 1.检查 plog 报错日志：发现所有参与训练的 NPU 卡均存在相同现象——在触发 Device OOM 的同时，伴随有 HCCL 申请 200MB ccl buffer（NPU 间通信缓存，占用片上内存）失败的报错。（参考：HCCL_BUFFSIZE 环境变量说明） 2.检查 plog run 目录日志：查看进程退出时打印的内存占用情况，发现已占用 31.8GB 片上内存，其中 MindSpore 框架占用了 31GB。由于 MindSpore 框架采用内存池机制预占片上内存，问题指向框架配置占用的内存过高。 3.比对作业配置：对比正常拉起与异常退出的作业配置，发现异常退出的作业中设置了 max_device_memory = 31G。确认是由于 max_device_memory 配置过高，导致 HCCL 建链申请缓存时剩余空间不足，从而触发 Device OOM。将配置回退后，作业可正常拉起训练，问题恢复。问题根因 max_device_memory 配置值过高，导致 HCCL 建链申请通信缓存时，片上内存剩余空间不足，最终引发 Device OOM。解决措施适当调低 max_device_memory 配置，为 HCCL 预留足够的缓存空间。预留空间的大小与节点规模正相关，需根据具体训练场景进行调测，确保在满足模型内存需求的同时，为通信库保留充足的余量。建议与总结 ●在配置 max_device_memory 时，应充分考虑 HCCL 通信缓存等额外内存开销，避免将内存上限设置得过于接近硬件上限。 ●建议参考 MindSpore Transformers 官方文档中关于 max_device_memory 的说明进行合理配置： MindSpore Transformers 模型相关 FAQ ●对于大规模分布式训练场景，建议在测试环境中先行验证内存配置的合理性，确保训练作业的稳定运行。