TransferConfig构造函数

函数功能

构造TransferConfig。

函数原型

TransferConfig(dst_cluster_id: int,
               dst_addrs: List[int],
               src_layer_range: Optional[range] = None,
               src_batch_index: int = 0)

参数说明

参数名	数据类型	取值说明
dst_cluster_id	int	目的Cache所在实例的cluster_id。
dst_addrs	List[int]	目的Cache中各tensor的内存地址。如果目的Cache为非PA场景，且需要传输到的batch_index非0，则此处需要将dst_addrs偏移到实际地址。
src_layer_range	Optional[range]	本地要传输的层的范围，step只支持为1，默认为None，表示传输所有层。
src_batch_index	int	本地cache的batch下标。当源Cache为非PA场景时可以设置。

调用示例

from llm_datadist import TransferConfig
TransferConfig(1, dst_addrs, range(0, 3), 1)

返回值

正常场景下返回TransferConfig的实例。

参数错误可能抛出TypeError或ValueError。

src_layer_range不合法会抛出LLMException。

约束说明

目标地址列表中地址的个数需要为需要传输的层数的2倍

父主题： TransferConfig