简介

本章节主要介绍LLM-DataDist的主要功能如何在不同推理框架中适配。先介绍LLM-DataDist中提供的主要功能，给出调用示例，然后再介绍在不同推理框架中适配需要做哪些工作。

至于LLM-DataDist api中提供的其他功能，是通过config设置以及调用特定业务场景的api实现的，不涉及调用流程的变化，根据实际业务需求参考api中提供的示例就可以，此处不多做展示。

按照业务支持场景的差异和传输方式的不同，介绍提供的两套接口的主要功能，如下所示。