Data Preparation数据准备性能分析。

数据准备过程可以分为三个阶段：数据处理pipeline、训练数据发送至Device以及Device侧读取训练数据。数据准备过程中，MindStudio性能分析工具通过迭代间隙的识别，实现了训练数据发送至Device以及Device侧读取训练数据两个阶段的性能瓶颈分析。

如图1所示为数据下沉模式，包含Host Queues（主机队列图）、Data Queues（数据队列图）、Host Data Transmission（主机数据发送图）和Data Acquisition（取数据算子耗时图）。

如图2所示为非数据下沉模式，只包含Host Queues（主机队列图）。

Data Queues的纵坐标为Device侧读取训练数据时队列的长度。如果数据队列长度为0，则训练会一直等待，直到队列中有数据才会开始某个迭代的训练，该迭代可能存在性能瓶颈；如果数据队列长度大于0，则训练可以快速读取数据，数据准备不是该迭代的瓶颈所在；如果图中存在波动的曲线，则表示训练从队列读取数据时存在延迟，可能存在性能瓶颈。
Host Queues的纵坐标为当前队列中缓存数据的个数。如果队列中缓存数据的个数在大部分情况下都是0，说明数据处理流程可能存在性能瓶颈点；如果队列中缓存数据的个数大于0，说明获取数据后将数据发送到Device侧的流程可能存在性能瓶颈。
Host Data Transmission的纵坐标表示Host侧获取和推送数据的耗时，如果耗时较长，则可能存在性能瓶颈。
Data Acquisition的纵坐标表示Device侧获取数据的耗时，如果耗时较长，则可能存在性能瓶颈。

图1 数据下沉模式

图2 非数据下沉模式
点击放大

图中各字段说明如表1所示。

表1 字段说明
字段	说明
Rank ID	集群场景的节点ID。
Apply	数据导出按钮。当选择某个Rank ID并单击该按钮时，导出该节点的Data Preparation。
Queues Analysis
Host Queues	主机队列图。
Data Queues	数据队列图。
Proportion of Empty Queues: /	队列为空比例：空队列数/总队列数。为主机和数据队列图横纵坐标信息的汇总值。
Iteration	迭代。
Queue size	队列个数。
Consumption Analysis
Host Data Transmission	主机数据发送图。
Average Duration: *ms	平均总耗时，单位为ms。取主机数据发送图横纵坐标信息的汇总后的平均值。
Average Data Acquisition Duration: *ms	平均取数据耗时，单位为ms。
Average Data Sending Duration: *ms	平均推送数据耗时，单位为ms。
Total duration	总耗时。取主机数据发送图横纵坐标信息的汇总。
Data acquisition duration	取数据耗时。
Data sending duration	推送数据耗时。
Data Acquisition	取数据算子耗时图。
Average Duration: *ms	平均总耗时，单位为ms。为取数据算子耗时图横纵坐标信息的汇总后的平均值。
Iteration	迭代。
Time(ms)	耗时。