Data Preparation

Data Preparation数据准备性能分析。

仅支持集群训练场景的数据准备过程进行性能分析。
MindStudio不支持集群场景的数据采集，可通过Import Result导入已采集的PROF_XXX的父目录来展示集群场景性能数据。

数据准备过程可以分为三个阶段：数据处理pipeline、训练数据发送至Device以及Device侧读取训练数据。数据准备过程中，MindStudio性能分析工具通过迭代间隙的识别，实现了训练数据发送至Device以及Device侧读取训练数据两个阶段的性能瓶颈分析。

如图1所示为数据下沉模式，包含Host Queues（主机队列图）、Data Queues（数据队列图）、Host Data Transmission（主机数据发送图）和Data Acquisition（取数据算子耗时图）。

如图2所示为非数据下沉模式，只包含Host Queues（主机队列图）。

Data Queues的纵坐标为Device侧读取训练数据时队列的长度。如果数据队列长度为0，则训练会一直等待，直到队列中有数据才会开始某个迭代的训练，该迭代可能存在性能瓶颈；如果数据队列长度大于0，则训练可以快速读取数据，数据准备不是该迭代的瓶颈所在；如果图中存在波动的曲线，则表示训练从队列读取数据时存在延迟，可能存在性能瓶颈。
Host Queues的纵坐标为当前队列中缓存数据的个数。如果队列中缓存数据的个数在大部分情况下都是0，说明数据处理流程可能存在性能瓶颈点；如果队列中缓存数据的个数大于0，说明获取数据后将数据发送到Device侧的流程可能存在性能瓶颈。
Host Data Transmission的纵坐标表示Host侧获取和推送数据的耗时，如果耗时较长，则可能存在性能瓶颈。
Data Acquisition的纵坐标表示Device侧获取数据的耗时，如果耗时较长，则可能存在性能瓶颈。

图1 数据下沉模式

图2 非数据下沉模式

图中各字段说明如表1所示。

表1 字段说明
字段	说明
Rank ID	集群场景的节点ID。
Apply	数据导出按钮。当选择某个Rank ID并单击该按钮时，导出该节点的Data Preparation。
Queues Analysis
Host Queues	主机队列图。
Data Queues	数据队列图。
Proportion of Empty Queues: /	队列为空比例：空队列数/总队列数。为主机和数据队列图横纵坐标信息的汇总值。
Iteration	迭代。
Queue size	队列个数。
Consumption Analysis
Host Data Transmission	主机数据发送图。
Average Duration: *ms	平均总耗时，单位为ms。取主机数据发送图横纵坐标信息的汇总后的平均值。
Average Data Acquisition Duration: *ms	平均取数据耗时，单位为ms。
Average Data Sending Duration: *ms	平均推送数据耗时，单位为ms。
Total duration	总耗时。取主机数据发送图横纵坐标信息的汇总。
Data acquisition duration	取数据耗时。
Data sending duration	推送数据耗时。
Data Acquisition	取数据算子耗时图。
Average Duration: *ms	平均总耗时，单位为ms。为取数据算子耗时图横纵坐标信息的汇总后的平均值。
Iteration	迭代。
Time(ms)	耗时。

父主题： 集群场景数据