PipeUtilization(计算单元和搬运单元耗时占比)
采集计算单元和搬运单元耗时和占比数据PipeUtilization.csv。建议优化数据搬运逻辑,提高带宽利用率。详情介绍请参见下表中的字段说明。
       Atlas A2 训练系列产品/Atlas 800I A2 推理产品
       
     
    | 字段名 | 字段解释 | 
|---|---|
| block_id | Task运行切分数量,对应Task运行时配置的核数。 | 
| sub_block_id | Task运行使用的每个block名称和序号。 | 
| aic_time(us) | 该Task被分配到每个AI Cube Core计算单元上后,每个AI Cube Core计算单元上的执行时间,单位us。 | 
| aic_total_cycles | 该Task被分配到每个AI Cube Core计算单元上后,每个AI Cube Core计算单元上的执行的cycle总数。 | 
| aiv_time(us) | 该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行时间,单位us。 | 
| aiv_total_cycles | 该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行的cycle总数。 | 
| aiv_vec_time(us) | 代表vec类型指令(向量类运算指令)耗时。 | 
| aiv_vec_ratio | 代表vec类型指令(向量类运算指令)的cycle数在total cycle数中的占用比。 | 
| aic_cube_time(us) | 代表cube类型指令(fp16及s16矩阵类运算指令)耗时。 | 
| aic_cube_ratio | 代表cube类型指令(fp16及s16矩阵类运算指令)的cycle数在total cycle数中的占用比。 | 
| ai*_scalar_time(us) | 代表scalar类型指令(标量类运算指令)耗时。 | 
| ai*_scalar_ratio | 代表scalar类型指令(标量类运算指令)的cycle数在total cycle数中的占用比。 | 
| aic_fixpipe_time(us) | 代表fixpipe类型指令(L0C->GM/L1搬运类指令)耗时。 | 
| aic_fixpipe_ratio | 代表fixpipe类型指令(L0C->GM/L1搬运类指令)的cycle数在total cycle数中的占用比。 | 
| aic_mte1_time(us) | 代表MTE1类型指令(L1->L0A/L0B搬运类指令)耗时,不包括搬运等待时间。 | 
| aic_mte1_ratio | 代表MTE1类型指令(L1->L0A/L0B搬运类指令)的cycle数在total cycle数中的占用比。 | 
| ai*_mte2_time(us) | 代表MTE2类型指令(GM->AICORE搬运类指令)耗时。 | 
| ai*_mte2_ratio | 代表MTE2类型指令(GM->AICORE搬运类指令)的cycle数在total cycle数中的占用比。 | 
| ai*_mte3_time(us) | 代表MTE3类型指令(AICORE->GM搬运类指令)耗时。 | 
| ai*_mte3_ratio | 代表MTE3类型指令(AICORE->GM搬运类指令)的cycle数在total cycle数中的占用比。 | 
| ai*_icache_miss_rate | 代表icache缺失率,即未命中instruction的L1 cache,数值越小越好。 | 
        Atlas 推理系列产品
        
     
    | 字段名 | 字段解释 | 
|---|---|
| aic_time(us) | 该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。 | 
| aic_total_cycles | 该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。 | 
| aic_cube_time(us) | 代表cube类型指令(fp16及s16矩阵类运算指令)耗时。 | 
| aic_cube_ratio | 代表cube类型指令(fp16及s16矩阵类运算指令)的cycle数在total cycle数中的占用比。 | 
| aic_scalar_time(us) | 代表scalar类型指令(标量类运算指令)耗时。 | 
| aic_scalar_ratio | 代表scalar类型指令(标量类运算指令)的cycle数在total cycle数中的占用比。 | 
| aic_mte1_time(us) | 代表MTE1类型指令(L1->L0A/L0B搬运类指令)耗时,不包括搬运等待时间。 | 
| aic_mte1_ratio | 代表MTE1类型指令(L1->L0A/L0B搬运类指令)的cycle数在total cycle数中的占用比。 | 
| aic_mte2_time(us) | 代表MTE2类型指令(GM->AICORE搬运类指令)耗时。 | 
| aic_mte2_ratio | 代表MTE2类型指令(GM->AICORE搬运类指令)的cycle数在total cycle数中的占用比。 | 
| aic_mte3_time(us) | 代表MTE3类型指令(AICORE->GM搬运类指令)耗时。 | 
| aic_mte3_ratio | 代表MTE3类型指令(AICORE->GM搬运类指令)的cycle数在total cycle数中的占用比。 | 
| aic_icache_miss_rate | 代表icache缺失率,即未命中instruction的L1 cache,数值越小越好。 | 
| aic_vec_time(us) | 代表vec类型指令(向量类运算指令)耗时。 | 
| aic_vec_ratio | 代表vec类型指令(向量类运算指令)的cycle数在total cycle数中的占用比。 |