功能介绍

昇腾AI处理器是一款面向AI业务应用高性能集成芯片，它包含Control CPU、AI CPU以及AI CORE。其中Control CPU允许用户在其上运行通用的操作系统，而AI CPU、AI CORE则提供高性能的AI计算能力。为了验证Atlas 训练系列产品的性能，在芯片验证、算子开发、执行训练及推理任务等不同业务环节，提供针对Atlas 训练系列产品的端到端Profiling系统，准确定位系统的软、硬件性能瓶颈，提高性能分析的效率，通过针对性的性能优化方法，以最小的代价和成本实现业务场景的极致性能。

Profiling性能分析功能主要实现以下2类性能数据分析：

• 训练任务相关的Job Profiling
  • AI软件栈采集的数据（Training Trace），实现对训练任务的迭代性能分析，主要包括单个Device上AI CPU图计算轨迹相关的性能数据，及Runtime、集合通信等相关的性能数据。

    通过该类性能数据分析，可以得到迭代时长（t_(N+1)6-t_N6）、数据增强拖尾（t_(N+1)1-t_N6）、FPBP计算时间（t_N2-t_N1）以及梯度聚合更新拖尾时间（t_N6-t_N2）等关键性能指标项。其中，各个时间点取值如图1所示。

    图1 训练任务迭代内执行流程
    
    

    • 数据增强拖尾：上一轮迭代结束后、本轮迭代FP开始前，本轮数据增强仍然在执行，这段耗时为拖尾时长。
    • 梯度聚合更新拖尾：本轮迭代BP执行完成、迭代结束之前，仍然在执行梯度聚合/更新，这段耗时为拖尾时长。
  • HWTS/AICore采集的数据（Task Trace），实现对训练任务的Task执行性能分析，提供Task与AI Core相关的性能数据（如开始时间、总耗时等）。
• 训练任务无关的System Profiling

  训练任务无关的性能数据包含Control CPU、AI CPU、TS CPU、DVPP、片上内存等硬件的性能信息，如CPU占用率、内存带宽、PCIe带宽等。

Job Profiling、System Profiling可采集的信息源如表1所示。