背景概述在基于Mindspeed-LLM框架进行大模型训练的过程中，为提升模型训练效率，在官方示例脚本基础上引入了多种并行策略优化，包括CP并行、EP切分模式调整及重计算策略优化等。然而，在完成性能调优后，发现训练过程中的Loss曲线与开箱基准结果出现明显偏差，且该差异在多个训练轮次中持续存在。问题现象在启用TP+EP混合并行策略并开启moe-tp-extend-ep特性以优化专家层计算效率后，模型训练Loss与原始基准版本相比出现显著偏移，且无法收敛至预期水平。该现象在使用相同数据集与初始权重的前提下复现，排除数据与初始化问题。根因分析 1. 差异点识别：脚本配置对比通过对比启用moe-tp-extend-ep前后的训练脚本，发现主要存在三类配置差异： ●引入CP并行； ●修改EP切分模式； ●调整重计算策略。 2. 控制变量法验证：定位关键参数采用控制变量法，逐项启用上述配置变更，观察Loss变化情况。结果显示： ●单独启用CP并行、重计算策略调整时，Loss与基准一致； ●仅当启用--moe-tp-extend-ep参数后，Loss异常现象重现。由此确认，moe-tp-extend-ep是引发精度差异的直接原因。 3. 特性使用合规性检查 moe-tp-extend-ep是Mindspeed-LLM中用于优化TP+EP场景下MoE专家层切分效率的特性，其核心机制为：在专家层不切分参数，仅切分专家数量，从而避免因细粒度参数切分导致的GMM算子性能下降。该特性的使用需满足以下约束条件： 1.启动脚本中需同时启用--moe-permutation-async-comm与--moe-grouped-gemm； 2.num-experts需为128，且能被TP × EP整除； 3.未设置--moe-expert-capacity-factor，默认为None。经核查，当前配置完全满足上述要求，参数使用无误。 4. 权重转换一致性排查 Mindspeed-LLM训练使用的是经Hugging Face权重转换后的mcore格式权重。权重转换过程需严格保证转换脚本与训练脚本的参数配置一致，否则可能导致权重结构与训练逻辑不匹配。当前使用版本为2.1.0，虽在转换脚本中已对--target-tensor-parallel-size等关键参数进行对齐，但未包含--moe-tp-extend-ep参数。尽管该参数在旧版转换指导中未被提及，但结合前述控制变量结果，推测其缺失是导致精度异常的关键。 5. 验证性修复：参数对齐后问题消失为验证假设，直接在hf2mcore权重转换脚本中添加--moe-tp-extend-ep与--moe-grouped-gemm参数，重新生成mcore权重。使用新生成的权重与优化后的训练脚本启动训练，Loss曲线与基准版本完全一致，精度异常问题消失。进一步查阅Mindspeed-LLM仓库2.2.0及以上版本的权重转换文档，发现checkpoint_convert_v2.md已明确列出需在转换与训练中保持一致的参数，其中明确包含moe-tp-extend-ep相关配置。问题根因训练脚本中启用了moe-tp-extend-ep特性，但权重转换脚本未同步启用该参数，导致转换后的权重结构与训练逻辑不匹配，从而引发Loss异常。解决措施 1.依据docs/pytorch/solutions/checkpoint/checkpoint_convert_v2.md文档，确保权重转换与训练配置完全一致； 2.在hf2mcore权重转换脚本中添加以下参数：--moe-tp-extend-ep --moe-grouped-gemm 3.重新执行权重转换，生成新的mcore格式权重； 4.使用新权重启动训练，验证Loss曲线与基准一致，精度问题彻底解决。总结本案例表明，在进行大模型训练时，严格遵循最新版本的权重转换指导文档，确保所有关键参数在转换与训练阶段保持一致，以保障训练稳定性与结果可复现性。