算力测试通过构造矩阵乘“A(m,k)*B(k,n)”并执行一定次数的方式,根据运算量与执行多次矩阵乘所耗费时间来计算芯片中AI Core的算力值和满算力下芯片的平均功率。
设计的矩阵乘参数如表1所示,默认在最大算力模式下运行。
由于昇腾AI处理器会预设性能阈值,建议在设备温度稳定并低于90℃的情况下进行算力测试,避免因设备温度过高触发主动降频功能,影响算力测试结果。
参数 |
说明 |
是否必填 |
---|---|---|
[-f, --flops] |
使用该参数测试芯片的算力。 |
是 |
[-t, --type] |
指定算子运算类型,可以为fp16和int8,若未指定则默认为fp16。 |
否 |
[-d, --device] |
指定需要测试算力的Device ID,Device ID是指昇腾芯片的ID,用户可以执行ascend-dmi --info命令,在显示界面表格中的Chip参数处获得芯片数量。若不填写Device ID则默认返回Device 0的算力信息。 |
否 |
[-et, --et, --execute-times] |
指定芯片单个AI Core上运行矩阵乘法的执行次数。若不填写执行次数则默认为10。 推理场景单位为百万,参数范围为[10,80]。 |
否 |
[-fmt, --fmt, --format] |
指定输出格式,可以为normal或json。若未指定则默认为normal。 |
否 |
ascend-dmi -f后使用-d,--et等多个二级参数时,可任意指定这些参数的排列顺序,不影响命令结果输出。例如: ascend-dmi -f -d 2 --et 60和ascend-dmi -f --et 60 -d 2输出结果相同。
推理场景以测试Device 2,指定算子运算类型默认为fp16,执行次数为6千万的算力为例。
ascend-dmi -f -d 2 --et 60
显示界面参数说明如下表。
参数 |
说明 |
---|---|
Device |
Device ID。 |
Execute Times |
执行矩阵乘的次数乘以AI Core的个数,再乘以芯片的个数计算所得。 |
Duration(ms) |
执行多次矩阵乘所耗费的时间。 |
TFLOPS@FP16 |
Fp16数据进行算力测试得到的算力值。FP16根据指定的算子运行类型变更。 |
Power(W) |
满算力下芯片的实时功率。 说明: 用户无需关注算力测试时芯片的功率,因为功耗数据是按周期采集,且前后两次采集之间存在时间间隔,当算力测试时间过短时,会出现功耗数据波动。功耗测试请使用更具针对性的功耗测试选项进行。 |
为保证返回检测结果的正确性和准确性,算力测试需要单独执行。