简介
单边通信库提供C++与Python两种语言的接口,面向集群场景提供简单、可靠、高效的点对点数据传输能力。
手册名称 |
简介 |
|---|---|
单边通信库接口参考(C++) |
介绍C++的HIXL接口,包括链路管理、内存管理、数据传输。在分布式内存池的场景下,HIXL提供了一个纯粹的基于本地地址和远端地址的传输能力。 该场景支持D2D、D2H和H2D。 介绍C++的LLM-DataDist相关接口,包括链路管理、KV Cache管理。该场景下支持单边建链。Decode和Prompt可以双向拉取、推送Cache。 |
单边通信库接口参考(Python) |
介绍Python的LLM-DataDist相关接口,包括CacheManager模式下的链路管理和KV Cache管理。该场景下支持单边建链和双边建链,即所有LLM-DataDist同时发起建链。Decode和Prompt可以双向拉取、推送Cache。 该场景支持D2D、D2H和H2D。 |