服务器性能调优

使用服务器进行大模型推理时,建议开启CPU高性能模式以及透明大页,开启后可提升性能与稳定性。

操作步骤

在裸机上执行如下操作:

  1. 安装开启CPU高性能模式所需的相关库。

    apt-get install cpufrequtils
    apt install linux-tools-common linux-tools-$(uname -r)

  2. 使用cpupower指令设置高性能模式。

    cpupower frequency-set -g performance

  3. 开启透明大页,提升性能稳定性。

    echo always > /sys/kernel/mm/transparent_hugepage/enabled