环境变量
环境变量名 |
功能描述 |
取值范围 |
默认值 |
---|---|---|---|
CMAKE_BUILD_TYPE |
CMake编译变量,通过该变量控制编译模式。 |
|
Release |
VERBOSE |
控制“DCMAKE_VERBOSE_MAKEFILE”是否开启。 |
0:关闭 1:开启 |
0 |
VLLM_OPTIMIZATION_LEVEL |
控制vLLM性能优化补丁级别。 |
0:关闭所有补丁 1:开启基础优化补丁 2:开启进阶优化补丁,会修改算子核函数,导致精度变动 3:开启实验性能优化补丁,当前版本不建议开启 |
2 |
USING_SAMPLING_TENSOR_CACHE |
是否启用vLLM后处理部分的张量缓存功能。 chunked-prefill和beam search场景下暂不支持。 |
0:关闭 1:开启 |
0 |
父主题: 附录