MindIE参数性能调优-如何使吞吐率最大?(持续更新~)
收藏回复举报
MindIE参数性能调优-如何使吞吐率最大?(持续更新~)
发表于2025-03-10 16:27:15
0 查看

【MIES_USE_MB_SWAPPER】

   开启高性能Swap,通过环境变量MIES_USE_MB_SWAPPER配置,maxPreemptCount >0 时,建议开启高性能Swap

export MIES_USE_MB_SWAPPER=1

【MIES_RECOMPUTE_THRESHOLD】

  当前可下发的请求block数占总block数的比例(也就是block资源利用率)建议在0.5上下

export MIES_RECOMPUTE_THRESHOLD=0.5

【maxPrefillBatchSize】​

  最大prefill batch size,maxPrefillBatchSize和maxPrefillTokens谁先达到各自的取值就完成本次组batch

【maxPrefillTokens】

 每次Prefill时,当前batch中所有input token总数,不能超过maxPrefillTokens,maxPrefillTokens和maxPrefillBatchSize谁先达到各自的取值就完成本次组batch。

【maxBatchSize】

decode 阶段一次推理包含请求的最大数,一般情况下,maxBatchSize 越大,吞吐率越大。

【supportSelectBatch】

true,表示每一轮调度时,根据当前Prefill与Decode请求的数量,自适应调整Prefill和Decode阶段请求调度和执行的先后顺序。

吞吐优先时,建议设置为:true。

首token时延优先时,建议设置为:false。

【prefillTimeMsPerReq】

平均每个请求Prefill时间,建议值:600ms;若需要降低首token时延可适当调小。

计算与decodeTimeMsPerReq的比值,即 prefillTimeMsPerReq/decodeTimeMsPerReq,该比值越大,调度时优先做Decode,会降低Decode时延,提高首token时延。

【decodeTimeMsPerReq】

平均每个请求Decode时间。建议值:50ms;  建议仅调整prefillTimeMsPerReq值,该值固定为50ms。

【maxQueueDelayMicroseconds】

Prefill组Batch时,最大等待时长,  建议值:500us; 该值设置越大,队列等待时间越长,Prefill阶段的BatchSize会越大。

maxPreemptCount

当环境变量 MIES_USE_MB_SWAPPER为"1"时该参数生效;建议值 0 (关闭)  每一批次最大可抢占请求的上限,即限制一轮调度最多抢占请求的数量。

取值大于0则表示开启可抢占功能。

本帖最后由 匿名用户2025/04/01 15:22:53 编辑

我要发帖子