在计算性能指标中,优先级排序为:吞吐率 > 单步迭代时间 > 线性度 > 内存占用 > 带宽占用 > 训练效率 > 浮点计算次数每秒 > 算力利用率。
主要针对大模型分析性能指标,因此下面对性能指标的原理进行梳理,用于指导性能指标的修改和调优工作。
指标名称 |
单位 |
---|---|
吞吐率 |
samples/s tokens/s |
单步时间 |
s |
线性度 |
values |
内存占用 |
百分比 |
带宽占比 |
百分比 |
训练效率 |
tokens/day |
浮点运算 |
TFLOPS/s |
算力利用率 |
百分比 |