组件 |
描述 |
目的 |
|---|---|---|
Ascend Extension for PyTorch（即torch-npu） |
PyTorch 2.1.0及以上版本支持关闭内存池 |
在某些debug场景下，需排除NPU实现的内存池影响，可关闭内存复用机制，实现完全依赖驱动内存申请和释放，辅助问题定位。 |
支持内存快照 |
辅助分析快速定位模型oom（out of memory）问题。 |
|
新增支持可独立配置event超时时间 |
区别HCCL notify wait超时时间，支撑模型HCCL超时问题定位。 |
|
完成processgroup升级 |
reduce_scatter算子支持变长计算。 |
|
新增支持2.3.1 |
通用能力，与社区同步发布版本。 |
|
新增支持图模式部分特性（具体可参考《PyTorch 图模式使用指南（TorchAir）》） |
通用能力，跟随社区图模式能力。 |
|
ModelLink |
支持非共享储存情况下非主节点数据缓存检测和生成 |
解决无共享存储时数据只在首节点生成需要手工同步的痛点。 |
支持确定性计算 |
支持通过配置开启确定性计算，辅助问题定位。 |
|
MindSpeed |
兼容Megatron-LM core_r0.6.0 |
从计算性能、显存资源、通信性能及并行算法等多个维度，全面提升大模型训练的效率与稳定性。 |
支持MoE及token重排优化 |
||
支持Ulysses/Ring-Attention长序列并行 |
||
支持自定义算子入图 |