执行解析
基础解析
执行解析命令示例:
python3 -m ms_service_profiler.parse --input-path=${PATH}/prof_dir/
参数 |
说明 |
是否必选 |
---|---|---|
--input-path |
指定性能数据所在路径,会遍历读取该路径下所有名为msproftx.db的数据库。 |
是 |
--output-path |
指定解析后文件生成路径,默认为当前路径。 |
否 |
--log-level |
设置日志级别,取值为:
|
否 |
多维度解析
- 进行基础解析的同时,对性能数据按照不同维度(request维度、batch维度、总体服务维度)进行拆解。拉取msit代码仓后在msserviceprofiler目录下执行命令:
python3 ms_service_profiler_ext/analyze.py --input-path=${PATH}/prof_dir
增加输出文件request_summary.csv、batch_summary.csv、service_summary.csv。
- 进行基础解析的同时,也可对不同Batch数据进行细粒度拆解,如下示例:拉取msit代码仓后在msserviceprofiler目录下执行命令:
- 拆解Prefill的batch数据。
python3 ms_service_profiler_ext/split.py --input-path=${PATH}/prof_dir --prefill_batch_size=4 --prefill_number=100
- 拆解Decode的batch数据。
python3 ms_service_profiler_ext/split.py --input-path=${PATH}/prof_dir --decode_batch_size=10 --decode_number=100
增加输出文件prefill.csv, decode.csv。
表2 参数说明 参数
说明
是否必选
--prefill_batch_size
指定拆解的Prefill batch的batch_size大小。
否
--prefill_number
指定拆解的Prefill batch的数量,用于统计执行时间的最大值、最小值、平均值和标准差。
否
--decode_batch_size
指定拆解的Decode batch的batch_size大小。
否
--decode_number
指定拆解的Decode batch的数量,用于统计执行时间的最大值、最小值、平均值和标准差。
否
- 拆解Prefill的batch数据。
父主题: 数据解析