整体开发流程

简介

为了方便后续的描述，我们对于不同的推理框架抽象为几个模块：

• 资源初始化模块。
• 内存管理模块。包括内存的创建，分配以及销毁。
• 模型推理模块。
• 资源释放模块。

本章节主要是介绍开发者如何在推理框架中使能ADXL的能力。

开发流程

1. 找到推理框架中的资源初始化模块，在该阶段中调用ADXL的初始化接口。
2. 找到推理框架中的内存管理模块，调用ADXL的注册接口将自行申请的内存注册到ADXL。
3. 推理框架要能够拆分出Prefill阶段和Decode阶段，对推理脚本进行分离部署，部署到不同的集群节点上。在Decode阶段执行前需要接收来自Prefill阶段的输出作为输入，同时调用ADXL内存传输接口拉取对端内存或推送本地内存到对端。
4. 分别执行Prefill推理脚本和Decode推理脚本。
5. 在框架资源释放模块释放ADXL相关资源。