昇腾社区首页
中文
注册
开发者
下载

简介

单边通信库提供C++与Python两种语言的接口,面向集群场景提供简单、可靠、高效的点对点数据传输能力。

表1 使用场景介绍

手册名称

简介

单边通信库接口参考(C++)

介绍C++的HIXL接口,包括链路管理、内存管理、数据传输。在分布式内存池的场景下,HIXL提供了一个纯粹的基于本地地址和远端地址的传输能力。

该场景支持D2D、D2H和H2D。

介绍C++的LLM-DataDist相关接口,包括链路管理、KV Cache管理。该场景下支持单边建链。Decode和Prompt可以双向拉取、推送Cache。

单边通信库接口参考(Python)

介绍Python的LLM-DataDist相关接口,包括CacheManager模式下的链路管理和KV Cache管理。该场景下支持单边建链和双边建链,即所有LLM-DataDist同时发起建链。Decode和Prompt可以双向拉取、推送Cache。

该场景支持D2D、D2H和H2D。