昇腾社区首页
中文
注册

新增特性

组件

描述

目的

Ascend Extension for PyTorch(即torch-npu)

一级流水优化

进一步优化下发性能。

支持foreach优化器

相比关闭foreach性能有提升或不变。

支持基于ranktable file进行集合通信域建链

缩短在大集群下通信域建链的耗时。

新增支持PyTorch 2.4.0

通用能力,与社区同步发布版本。

新增支持Python 3.11

通用能力。

PyTorch 2.1.0及以上版本支持TCPStore建链优化

缩短TCPStore建链的耗时。

新增支持图模式部分特性(具体可参见《PyTorch 图模式使用指南(TorchAir)》)

通用能力,跟随社区图模式能力。

MindSpeed LLM

支持非共享存储情况下非主节点数据缓存检测和生成

解决无共享存储时数据只在首节点生成需要手工同步的痛点。

支持确定性计算

支持通过配置开启确定性计算,辅助问题定位。

支持SFT全参微调

Mcore支持SFT全参微调。

支持LoRA微调

Mcore支持LoRA微调。

MindSpeed

兼容Megatron-LM core_r0.7.0

从计算性能、内存资源、通信性能及并行算法等多个维度,全面提升大模型训练的效率与稳定性。

支持MoE激活函数重计算

支持Hybrid混合长序列并行

长序列支持压缩Alibi编码

支持重计算流水线独立调度(RI-Pipe)

支持NanoPipe流水并行