BIOS配置

配置高性能模式

原理：通常昇腾AI处理器在能耗菜单（power policy）提供Efficiency 和 Performance两种配置。

• Efficiency表示节能模式，CPU支持动态调频调压, 可根据负载情况，动态调整工作频率。
• Performance表示性能模式，CPU无动态调频，固定运行在最大频率。

调优配置：将Power Policy设置为Performance，获得更优性能。

缺点：开启高性能模式，会产生较大的能耗。

推荐场景：建议推理场景下，打开高性能模式，可以有效提升CPU性能，减少CPU运行空泡，从而提升模型性能。

实验室在Atlas 800T A2上安装openEuler 22.03 sp4，部署llama2_7B、qwen2_7B模型，对开启高性能开关前后模型的推理性能进行了研究。以下实验数据基于MindIE进行测试，由于软硬件存在差异，以下数据仅作为参考，不作为性能标准。

配置方式：通过BMC进入BIOS后，将配置项“PowerPolicy”的值设置为“Performance”，配置路径为“Advanced->Performance Config- >Power Policy”。

修改内存刷新速率

原理：DRAM内存内部使用电容来存储数据，由于电容有漏电现象，经过一段时间电荷会泄放，导致数据不能长时间存储。因此需要不断充电，这个充电的动作叫做刷新。刷新操作与读写操作无法同时进行，即刷新时会对内存的性能造成影响。BIOS为内存刷新速率选项提供了Auto选项，可以根据工作温度自动调节内存刷新速率，相比默认32ms配置可以提升内存性能。

调优配置：将内存刷新速率设置为Auto。

推荐场景：动态调整内存刷新速率，一定程度上可以提升内存拷贝性能，从而有助于模型性能提升。

实验室在Atlas 800T A2上安装openEuler 22.03 sp4，部署llama2_7B、qwen2_7B模型，对不同内存刷新速率对模型的推理性能进行了研究。以下实验数据基于MindIE进行测试，由于软硬件存在差异，以下数据仅作为参考，不作为性能标准。

配置方式：通过BMC进入BIOS后，将配置项“Custom Refresh Rate”的值设置为“Auto”，配置路径为“Advanced->Memory Config- >Custom Refresh Rate”。

修改CPU的预取开关

原理：CPU将内存中的数据读取到内部高速缓冲Cache时，会根据局部性原理，除了读取本次要访问的数据，还会预取本次数据的周边数据到Cache里面，如果预取的数据是下次要访问的数据，则性能会提升。

调优配置：打开CPU预取。

缺点：对于数据比较集中的场景，预取的命中率高，适合打开CPU预取，反之需要关闭CPU预取。

推荐场景：在推理场景下，打开CPU预取功能，可以有效提升CPU读取数据的性能，从而提升模型的性能。

实验室在Atlas 800T A2上安装openEuler 22.03 sp4，部署llama2_7B、qwen2_7B模型，对开启cpu预取开关前后模型的推理性能进行了研究。以下实验数据基于MindIE进行测试，由于软硬件存在差异，以下数据仅作为参考，不作为性能标准。

配置方式：通过BMC进入BIOS后，将配置项“CPU Prefetching Configuration”配置为“Enabled”，配置路径为“Advanced->MISC Config- >CPU Prefetching Configuration”。

关闭SMMU

原理：SMMU主要实现虚拟地址到物理地址的转换, 但是SMMU可能会增加额外的查表开销和延迟，从而降低系统的性能

调优配置：关闭SMMU。

推荐场景：在非虚拟机场景下（裸机、docker）关闭 SMMU，有助于提升模型性能。

实验室在Atlas 800T A2上安装openEuler 22.03 sp4，部署llama2_7B、qwen2_7B模型，对开启SMMU开关前后模型的推理性能进行了研究。以下实验数据基于MindIE进行测试，由于软硬件存在差异，以下数据仅作为参考，不作为性能标准。

配置方式：通过BMC进入BIOS后，将配置项“Support Smmu”配置为“Disabled”，配置路径为“Advanced->MISC Config- >Support Smmu”。