性能调优相关环境变量 当前MindIE Turbo中的部分性能调优特性有一定的场景限制,因此针对这部分特性,采用环境变量的方式控制是否开启。相关环境变量请参见表1。 表1 性能调优相关环境变量环境变量 默认值 功能说明 配置说明 USING_SAMPLING_TENSOR_CACHE 0(默认关闭) 是否启用vLLM后处理部分的张量缓存功能。 chunked-prefill和beam search场景下暂不支持。 在greedy以及topk、topp后处理场景下,建议设为“1”开启,提升性能。在chunked-prefill以及beam search场景下请勿开启。 父主题: 性能调优