昇腾社区首页
中文
注册

环境变量

表1 环境变量说明

环境变量名

功能描述

取值范围

默认值

CMAKE_BUILD_TYPE

CMake编译变量,通过该变量控制编译模式。

  • Debug
  • Release

Release

VERBOSE

控制“DCMAKE_VERBOSE_MAKEFILE”是否开启。

0:关闭

1:开启

0

VLLM_OPTIMIZATION_LEVEL

控制vLLM性能优化补丁级别。

0:关闭所有补丁

1:开启基础优化补丁

2:开启进阶优化补丁,会修改算子核函数,导致精度变动

3:开启实验性能优化补丁,当前版本不建议开启

2

USING_SAMPLING_TENSOR_CACHE

是否启用vLLM后处理部分的张量缓存功能。

chunked-prefill和beam search场景下暂不支持。

0:关闭

1:开启

0