算力测试

算力测试通过构造矩阵乘“A(m,k)*B(k,n)”并执行一定次数的方式,根据运算量与执行多次矩阵乘所耗费时间来计算芯片中AI Core的算力值和满算力下芯片的平均功率。

设计的矩阵乘参数如表1所示,默认在最大算力模式下运行。

表1 矩阵乘参数

算子运算类型

参数

说明

取值

fp16模式(推理和训练服务器)

int8模式(推理产品)

m

A矩阵行

256

k

A矩阵列,B矩阵行

32

n

B矩阵列

128

注意事项

由于昇腾AI处理器会预设性能阈值,建议在设备温度稳定并低于90℃的情况下进行算力测试,避免因设备温度过高触发主动降频功能,影响算力测试结果。

测试项参数查询

用户可任选以下指令之一查看算力测试命令的可用参数。

ascend-dmi -f -h

ascend-dmi -f --help

各参数解释如表2所示。

表2 参数说明

参数

说明

是否必填

[-f, --flops]

使用该参数测试芯片的算力。

[-t, --type]

指定算子运算类型,可以为fp16和int8,若未指定则默认为fp16。

[-d, --device]

指定需要测试算力的Device ID,Device ID是指昇腾芯片的ID,用户可以执行ascend-dmi --info命令,在显示界面表格中的Chip参数处获得芯片数量。若不填写Device ID则默认返回Device 0的算力信息。

[-et, --et, --execute-times]

指定芯片单个AI Core上运行矩阵乘法的执行次数。若不填写执行次数则默认为10。

推理场景单位为百万,参数范围为[10,80]。

[-fmt, --fmt, --format]

指定输出格式,可以为normal或json。若未指定则默认为normal。

ascend-dmi -f后使用-d,--et等多个二级参数时,可任意指定这些参数的排列顺序,不影响命令结果输出。例如: ascend-dmi -f -d 2 --et 60ascend-dmi -f --et 60 -d 2输出结果相同。

使用实例

推理场景以测试Device 2,指定算子运算类型默认为fp16,执行次数为6千万的算力为例。

ascend-dmi -f -d 2 --et 60

若返回如图1所示信息,表示工具运行正常,图中参数介绍如表3所示。

图1 推理服务器算力测试示例

显示界面参数说明如下表。

表3 显示界面参数说明

参数

说明

Device

Device ID。

Execute Times

执行矩阵乘的次数乘以AI Core的个数,再乘以芯片的个数计算所得。

Duration(ms)

执行多次矩阵乘所耗费的时间。

TFLOPS@FP16

Fp16数据进行算力测试得到的算力值。FP16根据指定的算子运行类型变更。

Power(W)

满算力下芯片的实时功率。

说明:

用户无需关注算力测试时芯片的功率,因为功耗数据是按周期采集,且前后两次采集之间存在时间间隔,当算力测试时间过短时,会出现功耗数据波动。功耗测试请使用更具针对性的功耗测试选项进行。

为保证返回检测结果的正确性和准确性,算力测试需要单独执行。