TransferWithCacheKeyConfig

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

构造TransferWithCacheKeyConfig。

函数原型

__init__(cache_key: Union[BlocksCacheKey, CacheKeyByIdAndIndex], src_layer_range: range = None, dst_layer_range: range = None, src_batch_index: int = 0)

参数说明

参数名	数据类型	取值说明
cache_key	Union[BlocksCacheKey, CacheKeyByIdAndIndex]	目的Cache所在实例的cluster_id。
src_layer_range	range	必选参数，本地要传输的层的范围，step只支持为1。
dst_layer_range	range	必选参数，远端要传输的层的范围，step只支持为1。
src_batch_index	int	本地cache的batch下标。当源Cache为非PA场景时可以设置。

调用示例

from llm_datadist import TransferWithCacheKeyConfig
TransferWithCacheKeyConfig(BlocksCacheKey(1), range(0, 40), range(0, 40))

返回值

正常情况下返回TransferWithCacheKeyConfig的实例。

参数错误可能抛出TypeError、ValueError或LLMException。

约束说明

src_layer_range表示范围需等于dst_layer_range表示范围。
cache_key为BlocksCacheKey时，src_batch_index只能为0。

父主题： LLM DataDist接口 (Python)