概述

在计算性能指标中,优先级排序为:吞吐率 > 单步迭代时间 > 线性度 > 内存占用 > 带宽占用 > 训练效率 > 浮点计算次数每秒 > 算力利用率。

主要针对大模型分析性能指标,因此下面对性能指标的原理进行梳理,用于指导性能指标的修改和调优工作。

表1 参数说明

指标名称

单位

吞吐率

samples/s

tokens/s

单步时间

s

线性度

values

内存占用

百分比

带宽占比

百分比

训练效率

tokens/day

浮点运算

TFLOPS/s

算力利用率

百分比