界面介绍
功能说明
在服务化调优过程中，MindStudio Insight工具以时间线（Timeline）的呈现方式，将请求端到端的执行情况平铺在时间轴上，直观体现请求在各个关键阶段的耗时情况以及当下请求的状态信息。通过分析时间线，用户可以快速识别服务化性能瓶颈，并根据问题现象，调整调优策略。
界面展示
- 区域一：工具栏，包含常用快捷按钮，从左至右依次为标记列表、过滤（支持按卡或按泳道过滤展示）、搜索、连线事件、重置缩放（页面复原）和时间轴缩小放大按钮。
- 区域二：图形化展示，左侧显示服务化采集的性能数据，一层级为进程，二层级为请求的各个关键阶段信息，具体泳道信息如表1所示。右侧为时间线视图，逐行对时间线进行图形化展现，包括各关键阶段执行序列和执行时长。
表1 泳道信息 泳道名称
说明
CPU Usage
CPU平均利用率。
Memory Usage
Host侧系统内存使用率。
NPU Usage
NPU内存占用。
KVCache
显存中block的数量，分配block的时刻，单位ns。
BatchSchedule
组batch时间，单位ns。
WAITING
batch进入WAITING状态的时刻。
PENDING
batch进入PENDING状态的时刻。
RUNNING
batch进入RUNNING状态的时刻。
SWAPPED
batch进入SWAPPED状态的时刻。
RECOMPUTE
batch进入RECOMPUTE状态的时刻。
SUSPENDED
batch进入SUSPENDED状态的时刻。
END
batch进入END状态的时刻。
STOP
batch进入STOP状态的时刻。
PREFILL_HOLD
batch进入PREFILL_HOLD状态的时刻。
http
请求发出或返回时刻。
Queue
请求入队或出队时刻。
modelExec
模型执行时间，单位ns。
Tokenizer
记录模型输入的tokenizer的encode和输出的decode的时间信息。
PDcommunication
PD分离通信时间，单位ns。（仅在PD分离场景下存在该泳道）
forward
模型推理前向传播时间，单位ns。
postprocess
模型推理后处理时间，单位ns。
preprocess
模型推理前处理时间，单位ns。
PullKVCache
PD节点之间的KVCache传输时间，单位ns。（仅在PD分离场景
下存在该泳道）
CANN
算子执行时间，单位ns。
- 区域三：数据窗格，统计信息或指令详情信息展示区，选中详情（Slice Detail）为选中单个关键阶段的详细信息、选中列表（Slice List）为泳道选中区域的关键阶段列表信息。
通过观察时间线视图各个层级上的耗时长短、间隙等判断对应的关键阶段是否存在性能问题。