采集数据说明
配置调用AscendCL API方式采集后生成的Profiling数据如表1和表2所示。
timeline文件名 |
相关参数 |
说明 |
---|---|---|
msprof_{device_id}_{model_id}_{iter_id}.json |
all |
timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。 |
ai_stack_time_{device_id}_{model_id}_{iter_id}.json |
ACL_PROF_ACL_API ACL_PROF_RUNTIME_API 以上两个参数至少开启一个。 |
各个组件(ACL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据说明。 |
task_time_{device_id}_{model_id}_{iter_id}.json |
ACL_PROF_TASK_TIME |
Task Scheduler任务调度信息。文件详情请参见Task Scheduler任务调度信息数据说明。 |
runtime_api_{device_id}_{model_id}_{iter_id}.json |
ACL_PROF_RUNTIME_API |
Runtime接口耗时数据。文件详情请参见Runtime接口耗时数据说明。 |
acl_{device_id}_{model_id}_{iter_id}.json |
ACL_PROF_ACL_API |
AscendCL接口耗时数据。文件详情请参见AscendCL接口耗时数据说明。 |
step_trace_{device_id}_{model_id}_{iter_id}.json |
- |
迭代轨迹数据,每轮迭代的耗时。文件详情请参见迭代轨迹数据说明。 |
hccl_{device_id}_{model_id}_{iter_id}.json |
ACL_PROF_HCCL_TRACE |
HCCL数据。文件详情请参见HCCL数据说明。 |
ACL_PROF_MSPROFTX |
msproftx数据,通过Profiling AscendCL API for Extension(Profiling AscendCL API扩展接口)采集用户和上层框架程序的性能数据,并由msprof命令行的--msproftx参数进行数据导出。 |
summary文件名 |
相关参数 |
说明 |
---|---|---|
acl_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_ACL_API |
AscendCL接口的耗时。详情请参见AscendCL接口耗时数据说明。 |
acl_statistic_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_ACL_API |
AscendCL接口调用次数及耗时。详情请参见AscendCL接口调用次数及耗时数据说明。 |
op_summary_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_TASK_TIME(可选) ACL_PROF_AICORE_METRICS(可选) ACL_PROF_AICPU(可选) 配置ACL_PROF_TASK_TIME和ACL_PROF_AICORE_METRICS生成AI Core算子信息,配置ACL_PROF_AICPU生成AI CPU算子信息。 |
AI Core数据,获取每个task的ai core metrics的耗时。详情请参见AI Core数据说明。 |
op_statistic_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_TASK_TIME(可选) ACL_PROF_AICORE_METRICS(可选) ACL_PROF_AICPU(可选) 配置ACL_PROF_TASK_TIME和ACL_PROF_AICORE_METRICS生成AI Core算子信息,配置ACL_PROF_AICPU生成AI CPU算子信息。 |
AI Core算子调用次数及耗时,从算子类型维度找出耗时最大的算子类型。详情请参见AI Core算子调用次数及耗时数据说明。 |
step_trace_{device_id}_{model_id}_{iter_id}.csv |
- |
迭代轨迹数据。文件详情请参见迭代轨迹数据说明。 |
ai_stack_time_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_ACL_API ACL_PROF_RUNTIME_API 以上两个参数至少开启一个 |
每个组件(AscendCL,GE,Runtime,Task Scheduler)的耗时。详情请参见各个组件的耗时数据说明。 |
aicpu_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_AICPU |
AI CPU数据。文件详情请参见AI CPU数据说明。 |
fusion_op_{device_id}_{model_id}_{iter_id}.csv |
- |
模型中算子融合前后信息。详情请参见模型中算子融合前后信息数据说明。 |
task_time_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_ACL_API |
Task Scheduler的任务调度信息数据。详情请参见: |
l2_cache_{device_id}_{model_id}_{iter_id}.csv |
ACL_PROF_L2CACHE |
L2Cache数据。详情请参见L2Cache数据说明(Atlas 推理系列产品与Atlas 训练系列产品)。 仅Atlas 训练系列产品和Atlas 推理系列产品会生成该文件。 |
prof_rule_0.json |
- |
调优建议。 |