DataFlow构图

除了Ascend Graph构图方式外，GE还提供了适用于异构计算场景的DataFlow图接口，可达成如下目标：

• 让编程开发者聚集算法实现，屏蔽异构硬件和组网的差异，降低异构硬件编码门槛，提高开发效率。
• 支持组合多个模型端到端地表达AI应用，应用开发表达与物理部署解耦，帮助业务实现一套DataFlow代码支持部署在不同组网（单机多卡或多机多卡），且支持不同的硬件。
• 冗余部署提升可靠性。将处理函数在多节点冗余部署，在运行时感知异常状态，通过动态调度决策避免异常进程的执行，实现业务快速恢复。
• 传输时延优化：通过使能Device数据面通信，提升集合通信效率，从而降低业务处理时延。
• 充分发挥算力，提升性能：
  • 通过UDF下沉使能Device侧AI CPU算力，减少数据拷贝、数据切分的开销，并降低Host侧CPU的负载。
  • 通过DataFlow框架的数据流自动并行，减少模块间数据依赖，充分发挥业务的并行潜能。
  • 通过DataFlow的灵活部署，简单高效调整各模块的部署位置和数量，降低时延，提升吞吐率。

当前版本DataFlow构图特性仅支持Atlas A2训练系列产品/Atlas 800I A2推理产品。

关于DataFlow的详细构图流程可参见《DataFlow开发指南（Python）》。