enable_remote_cache_accessible

函数功能

在开启CacheManager场景下，配置是否开启远端Cache可直接访问功能。

开启该Option后，会在本地缓存远端Cache元数据(索引，内存地址等)，从而加速Pull流程。但也会引入相关约束，详见约束说明。

函数原型

enable_remote_cache_accessible(enable_remote_cache_accessible)

参数说明

调用示例

1
2
3

from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.enable_remote_cache_accessible = True

返回值

无

约束说明

• 当前只支持pull_blocks接口，且只支持src_cache与dst_cache都是Device的场景。
• 索引的更新只在第一次Pull时触发，对端在第一次Pull之后的Cache操作对本端不可见。用户需要保证Cache的有效性。所以该Option更适用于如PA的场景，这种场景下Cache只会在用户脚本初始化阶段allocate/register，而不会频繁改变。
• 开启该option后，pull_cache与transfer_cache_async接口无法使用。