昇腾社区首页
中文
注册

性能调优相关环境变量

当前MindIE Turbo中的部分性能调优特性有一定的场景限制,因此针对这部分特性,采用环境变量的方式控制是否开启。相关环境变量请参见表1

表1 性能调优相关环境变量

环境变量

默认值

功能说明

配置说明

USING_SAMPLING_TENSOR_CACHE

0(默认关闭)

是否启用vLLM后处理部分的张量缓存功能。

chunked-prefill和beam search场景下暂不支持。

  • 在greedy以及topk、topp后处理场景下,建议设为“1”开启,提升性能。
  • 在chunked-prefill以及beam search场景下请勿开启。