产品 |
是否支持 |
---|---|
√ |
|
x |
|
x |
|
x |
|
x |
构造TransferConfig。
1 | __init__(dst_cluster_id: int, dst_addrs: List[int], src_layer_range: Optional[range] = None, src_batch_index: int = 0) |
参数名 |
数据类型 |
取值说明 |
---|---|---|
dst_cluster_id |
int |
目的Cache所在实例的cluster_id。 |
dst_addrs |
List[int] |
目的Cache中各tensor的内存地址。如果目的Cache为非PA场景,且需要传输到的batch_index非0,则此处需要将dst_addrs偏移到实际地址。 |
src_layer_range |
Optional[range] |
本地要传输的层的范围,step只支持为1,默认为None,表示传输所有层。 |
src_batch_index |
int |
本地cache的batch下标。当源Cache为非PA场景时可以设置。 |
1 2 | from llm_datadist import TransferConfig TransferConfig(1, dst_addrs, range(0, 3), 1) |
目标地址列表中地址的个数需要为需要传输的层数的2倍。