为什么需要GE图引擎

什么是GE图引擎

当前主流的深度学习框架提供了Eager（Eager Execution，即时执行）模式和图模式的运行方式。Eager模式的特点是每个计算操作下发后立即执行，而图模式则是将所有计算操作构造成一张图，以图的形式下发执行。相较于单个计算操作依次下发的方式，图模式具备图的全局视角，能够更有效地简化和优化计算图操作，从而获得更优执行性能。

图引擎（Graph Engine，简称GE）作为昇腾平台计算图编译和运行的控制中心，提供了图构建、图编译优化及图执行控制等功能。借助GE图引擎能力，PyTorch、TensorFlow、MindSpore、PaddlePaddle等主流AI框架的算法模型可以统一转换为使用Ascend IR（Ascend Intermediate Representation）表示的计算图（Ascend Graph），并通过GE的图编译加速技术，显著提升计算图在昇腾硬件上的执行效率。此外，GE还提供统一的图开发接口，支持自定义图结构，帮助用户基于昇腾硬件快速部署神经网络业务。

图1 GE逻辑架构图

GE图编译加速技术

作为专门面向图模式的AI编译器，GE通过计算图优化、多流并行、内存复用和模型下沉等丰富的图编译加速技术，可有效减少Host与Device调度交互，减少模型内存占用，提升整图执行性能，加速模型在昇腾执行效率。关于GE关键技术的详细介绍，开发者可访问如下链接获取：

GE的开放能力

面向上层AI框架对接和业务部署场景：GE提供了统一的图开发接口，支持对接上层基于图的开放框架，目前已适配PyTorch（TorchAir图模式）、TensorFlow、MindSpore、PaddlePaddle等主流AI框架；同时支持自定义图结构，帮助用户在昇腾硬件上高效部署神经网络业务。
面向AI模型整图编译和运行优化场景：GE开放了图编译优化和图执行能力，支持自定义图融合等功能，使能用户定制高性能图解决方案。