磁盘IO配置
原理：NVME SSD比普通SATA SSD的读、写性能更快、更高效，主要区别在于传输接口和协议。NVME SSD使用更快的PCIe 接口和专门为SSD设计的NVME协议，可直连CPU，实现更低延迟和数倍于SATA的读写速度。
调优配置：推荐使用NVME SSD盘代替普通SSD盘作为系统盘。
推荐场景：使用NVME代替普通SSD盘做系统盘，可以有效提升磁盘的读、写性能，在推理场景下，有助于提升模型的性能。
实验中使用Atlas 800T A2，分别以MVME盘、普通SSD盘作为系统盘安装OS openEuler 22.03 sp4，研究不同介质系统盘对模型推理性能的影响。由于软硬件存在差异，以下数据仅作为参考，不作为性能标准。
模型 |
并发数 |
输入长度 |
实验次数 |
普通SSD系统盘 (tokens/s） |
NVME 系统盘 (tokens/s） |
性能收益(%) |
|---|---|---|---|---|---|---|
llama_7b |
8 |
128 |
实验1 |
75.0003 |
75.4373 |
0.58 |
实验2 |
75.1019 |
75.3953 |
0.39 |
|||
实验3 |
75.1043 |
75.4051 |
0.40 |
|||
平均值 |
75.0688 |
75.4126 |
0.46 |
|||
8 |
256 |
实验1 |
76.3483 |
76.5359 |
0.25 |
|
实验2 |
76.1594 |
76.5362 |
0.49 |
|||
实验3 |
76.2051 |
77.0832 |
1.15 |
|||
平均值 |
76.2376 |
76.7184 |
0.63 |
|||
qwen2_7b |
8 |
128 |
实验1 |
82.2465 |
83.5893 |
1.63 |
实验2 |
82.9202 |
83.4479 |
0.64 |
|||
实验3 |
82.8264 |
83.3766 |
0.66 |
|||
平均值 |
82.6644 |
83.4713 |
0.98 |
|||
8 |
256 |
实验1 |
83.7558 |
84.7990 |
1.25 |
|
实验2 |
84.1594 |
84.7267 |
0.67 |
|||
实验3 |
84.2340 |
84.8510 |
0.73 |
|||
平均值 |
84.0497 |
84.7922 |
0.88 |
父主题： 高性能配置