服务器性能调优
使用服务器进行大模型推理时,建议开启CPU高性能模式以及透明大页,开启后可提升性能与稳定性。
操作步骤
在裸机上执行如下操作:
- 安装开启CPU高性能模式所需的相关库。
apt-get install cpufrequtils apt install linux-tools-common linux-tools-$(uname -r)
- 使用cpupower指令设置高性能模式。
cpupower frequency-set -g performance
- 开启透明大页,提升性能稳定性。
echo always > /sys/kernel/mm/transparent_hugepage/enabled
父主题: 性能调优