CANN
异构计算架构CANN(Compute Architecture for Neural Networks)是昇腾针对AI场景推出的异构计算架构,向上支持多种AI框架,包括MindSpore、PyTorch、TensorFlow等,向下服务AI处理器与编程,发挥承上启下的关键作用,是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景,提供多层次编程接口,支持用户快速构建基于昇腾平台的AI应用和业务。
CANN 9.2.0的关键特性
- 昇腾社区上线CANN版本配套查询助手,用户可快速获取CANN与上下游软件配套关系,点击查看详情。
- 基于Ascend 950PR&950DT系列产品,Matmul、FA、SFA、BSA等算子支持8bit低精度计算,Matmul、GroupedMatmul、BSA等进一步支持4bit低精度计算,低精能力全面覆盖Deepseek、GLM、Kimi等模型权重、激活、KV Cache和Attention等关键路径,点击查看详情。
- KDA、SMLA、MegaMoe等融合算子进一步提升流水并行度,支持Kimi-K3、GLM5.2等模型性能提升20%,点击查看详情。
- 扩展稀疏Attention系列算子的正反向计算能力,覆盖注意力计算、稀疏索引选择与梯度计算等关键环节,支撑大模型稀疏训练,点击查看详情。
- 基于Ascend 950PR&950DT系列产品,支持MoE训练场景的Dispatch、Combine,通过AIV直驱URMA发起后台通信,配合DualPipe调度,实现训练中计算与通信的并行,点击查看详情。
- 基于Ascend 950PR&950DT系列产品,支持Engram分布式推理,将Engram表卸载(offload)至Host内存,通过URMA与Ubmem的接力能力,实现跨卡访问远端Host内存,点击查看详情。
- PyPTO新增PyPTO PRO编程模式,为算子开发者进一步提供硬件的控制力,点击查看详情。
- 基于Ascend 950PR&950DT系列产品,CATLASS新增支持Python风格核函数,提供丰富的样例库,点击查看详情。
- 算子新增支持Batch一致性计算能力,点击查看详情。
- 新增支持inductor路线的自动融合能力,自动识别并融合view、Norm、elementwise、Concat等算子,提升模型执行性能,点击查看详情。
查阅CANN文档
按工作流程、功能领域、API参考等维度查阅CANN相关文档。
调试与分析工具 |
|---|