简介

单边通信库面向集群场景提供简单、可靠、高效的点对点数据传输能力，并通过简易API开放给用户, 在多AI应用和多传输链路之间建立了桥梁。可用于构建大模型PD分离、RL后训练参数切换、模型参数缓存等多种业务场景。

本文档提供单边通信库的开发指南，用于指导开发者如何使用单边通信库接口实现集群间的数据传输，构建大模型推理分离式框架。

表1 使用场景介绍
手册名称	简介
单边通信库开发指南 (C++)	介绍通过C++的HIXL接口，如何进行链路管理、内存管理、数据传输。在分布式内存池的场景下，HIXL提供了一个纯粹的基于本地地址和远端地址的传输能力。该场景支持D2D、D2H和H2D。介绍通过C++的LLM-DataDist相关接口，如何进行链路管理、KV Cache管理。该场景下支持单边建链。Decode和Prompt可以双向拉取、推送Cache。
单边通信库开发指南 (Python)	介绍通过Python的LLM-DataDist相关接口，在CacheManager模式下如何进行链路管理和KV Cache管理。该场景下支持单边建链和双边建链，即所有LLM-DataDist同时发起建链。Decode和Prompt可以双向拉取、推送Cache。该场景支持D2D、D2H和H2D。