抽象类，需要由用户继承该抽象类实现相关接口。当前该类下只有一个接口synchronize_layer。
产品 |
是否支持 |
|---|---|
√ |
|
x |
|
x |
|
x |
|
x |
等待模型指定层执行完成，用户需要继承LayerSynchronizer并实现该接口。
该接口会在执行KvCacheManager.transfer_cache_async时被调用，当该接口返回成功，则开始当前层cache的传输。
1 | synchronize_layer(layer_index: int, timeout_in_millis: Optional[int]) -> bool |
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
layer_index |
int |
层的下标 |
timeout_in_millis |
Optional[int] |
超时时间，暂不支持。 |
该接口不由用户直接调用，而是作为回调由KvCacheManager调用。
正常情况下返回是否同步成功。
参数错误可能抛出TypeError或ValueError。
无