环境变量
环境变量名 |
功能描述 |
取值范围 |
默认值 |
|---|---|---|---|
CMAKE_BUILD_TYPE |
CMAKE编译变量，通过该变量控制编译模式。 |
|
Release |
VERBOSE |
控制“DCMAKE_VERBOSE_MAKEFILE”是否开启。 |
0：关闭 1：开启 |
0 |
VLLM_OPTIMIZATION_LEVEL |
控制vLLM性能优化补丁级别。 |
0：关闭所有补丁 1：开启基础优化补丁 2：开启进阶优化补丁，会修改算子核函数，导致精度变动 3：开启实验性能优化补丁，当前版本不建议开启 |
2 |
USING_SAMPLING_TENSOR_CACHE |
是否启用vLLM后处理部分的张量缓存功能。 chunked-prefill和beam search场景下暂不支持。 |
0：关闭 1：开启 |
0 |
USING_LCCL_COM |
是否启用LCCL通信库进行通信操作。 多机场景下的跨机通信暂不支持。 |
0：关闭 1：开启 |
1 |
USING_PP_MATMUL |
使用ping-pong Matmul算子进行浮点的矩阵乘计算，在长序列场景下性能更优。由于使用了不同的算子，可能会造成叠加MindIE Turbo后vLLM Ascend的精度发生变化，如果需要精度和vLLM Ascend完全对齐，请关闭该环境变量。 |
0：关闭 1：开启 |
0 |
父主题： 附录