使用说明

服务化调优场景下，时间线（Timeline）界面的使用说明可参见系统调优的使用说明。

选中详情

当选中单个关键阶段色块时，可在下方“选中详情”页签中显示该关键阶段的详情信息，当“选中详情”中存在res_list信息时，单击表格中rid列表的任意一行，会在“选中详情”的右侧区域显示对应rid的request详细信息，request详情根据实际采集的信息动态显示，如图1所示，字段解释如表1所示。

图1 选中详情

表1 选中详情字段解释
中文字段	英文字段	说明
标题	Title	名称。
开始	Start	起始时间。
开始（原始时间戳）	Start(Raw Timestamp)	数据采集到的原始开始时间。
持续时间	Wall Duration	总耗时。
参数	Args	关键阶段的相关参数信息。

服务化视图

在“系统视图”页签，当选择“服务化视图”时，页面包含卡序号选框、服务化数据页签，在卡序号选框中可以选择想要查看的卡。

服务化数据包括kvcache_usage、batch_info、request_data和forward_info等页签，如图2所示。

选择任一服务化数据，右侧区域会显示对应的详细信息，字段解释如表2所示，且各字段支持搜索，在字段名称后单击，可搜索所需信息。

图2 服务化视图

表2 服务化视图字段说明
中文字段	英文字段	说明
kvcache_usage
rid	rid	请求ID。
name	name	具体改变显存使用的方法。
real_start_time_ms	real_start_time_ms	发生显存使用情况变更的时间，单位ms。
device_kvcache_left	device_kvcache_left	显存中剩余blocks数量。
kvcache_usage_rate	kvcache_usage_rate	kvcache利用率。
batch_info
name	name	用于区分组batch和执行batch。 name为batchFrameworkProcessing表示组batch；name为modelExec表示执行batch。
res_list	res_list	batch组合情况。
start_time_ms	start_time_ms	组batch或执行batch的开始时间，单位ms。
end_time_ms	end_time_ms	组batch或执行batch的结束时间，单位ms。
batch_size	batch_size	batch中的请求数量。
batch_type	batch_type	batch中的请求状态（prefill和decode）。
during_time_ms	during_time_ms	执行时间，单位ms。
dp*_rid	dp*_rid	DP域包含的请求ID，*表示DP域ID，取值为[0, n-1]。
dp*_size	dp*_size	DP域的batchsize，*表示DP域ID，取值为[0, n-1]。
dp*_forward_ms	dp*_forward_ms	DP域中执行时长最长的forward的执行时间，单位ms，*表示DP域ID，取值为[0, n-1]。
request_data
http_rid	http_rid	HTTP请求ID。
start_time_ms	start_time_ms	请求到达的时间，单位ms。
recv_token_size	recv_token_size	请求的输入长度。
reply_token_size	reply_token_size	请求的输出长度。
execution_time_ms	execution_time_ms	请求端到端耗时，单位ms。
queue_wait_time_ms	queue_wait_time_ms	请求在整个推理过程中在队列中等待的时间，这里包括waiting状态和pending状态的时间，单位ms。
first_token_latency	first_token_latency	首Token时延，单位ms。
forward_info
name	name	标注forward事件，代表模型前向执行过程。
relative_start_time(ms)	relative_start_time(ms)	每台机器上forward与第一个forward之间的时间。
start_time(ms)	start_time(ms)	forward的开始时间。
end_time(ms)	end_time(ms)	forward的结束时间。
during_time(ms)	during_time(ms)	forward的执行时间，单位ms。
bubble_time(ms)	bubble_time(ms)	forward之间的空泡时间，单位ms。
batch_size	batch_size	forward处理的请求数量。
batch_type	batch_type	forward中的请求状态。
forward_iter	forward_iter	不同卡上forward的迭代序号。
dp_rank	dp_rank	标识forward的DP信息，相同DP域该列的值相同。
prof_id	prof_id	标识不同卡，相同的卡该列的值相同。
hostname	hostname	标识不同机器，相同机器该列的值相同。

支持生成色块相关折线图

在服务化调优场景下，支持生成任意色块的“执行时间折线图”和“空泡折线图”，便于分析问题。

在时间线（Timeline）界面，选择任一泳道的任意一个色块，单击鼠标右键，选择“生成该色块执行时间折线图”或“生成该色块空泡折线图”，跳转至折线图（Curve）界面，生成该色块所在泳道的对应折线图和数据详情，显示平均持续时间和持续时间，如图3所示。

图3 生成色块折线图

如果在折线图中发现异常，需要定位异常点，可区域放大选择需查看的异常点，在折线图下方数据详情表格中找到对应数据，在数据所在行单击鼠标右键，选择“跳转至时间线视图”，可跳转至时间线（Timeline）界面，定位至具体的色块上，如图4所示。

图4 跳转至时间线视图

父主题： 时间线（Timeline）