使用服务器进行大模型推理时,建议开启CPU高性能模式以及透明大页,开启后可提升性能与稳定性。
在裸机上执行如下操作:
apt-get install cpufrequtils apt install linux-tools-common linux-tools-$(uname -r)
cpupower frequency-set -g performance
echo always > /sys/kernel/mm/transparent_hugepage/enabled