【MIES_USE_MB_SWAPPER】
开启高性能Swap,通过环境变量MIES_USE_MB_SWAPPER配置,maxPreemptCount >0 时,建议开启高性能Swap
【MIES_RECOMPUTE_THRESHOLD】
当前可下发的请求block数占总block数的比例(也就是block资源利用率)建议在0.5上下
【maxPrefillBatchSize】
最大prefill batch size,maxPrefillBatchSize和maxPrefillTokens谁先达到各自的取值就完成本次组batch
【maxPrefillTokens】
每次Prefill时,当前batch中所有input token总数,不能超过maxPrefillTokens,maxPrefillTokens和maxPrefillBatchSize谁先达到各自的取值就完成本次组batch。
【maxBatchSize】
decode 阶段一次推理包含请求的最大数,一般情况下,maxBatchSize 越大,吞吐率越大。
【supportSelectBatch】
true,表示每一轮调度时,根据当前Prefill与Decode请求的数量,自适应调整Prefill和Decode阶段请求调度和执行的先后顺序。
吞吐优先时,建议设置为:true。
首token时延优先时,建议设置为:false。
【prefillTimeMsPerReq】
平均每个请求Prefill时间,建议值:600ms;若需要降低首token时延可适当调小。
计算与decodeTimeMsPerReq的比值,即 prefillTimeMsPerReq/decodeTimeMsPerReq,该比值越大,调度时优先做Decode,会降低Decode时延,提高首token时延。
【decodeTimeMsPerReq】
平均每个请求Decode时间。建议值:50ms; 建议仅调整prefillTimeMsPerReq值,该值固定为50ms。
【maxQueueDelayMicroseconds】
Prefill组Batch时,最大等待时长, 建议值:500us; 该值设置越大,队列等待时间越长,Prefill阶段的BatchSize会越大。
【maxPreemptCount】
当环境变量 MIES_USE_MB_SWAPPER为"1"时该参数生效;建议值 0 (关闭) 每一批次最大可抢占请求的上限,即限制一轮调度最多抢占请求的数量。
取值大于0则表示开启可抢占功能。
【MIES_USE_MB_SWAPPER】
开启高性能Swap,通过环境变量MIES_USE_MB_SWAPPER配置,maxPreemptCount >0 时,建议开启高性能Swap
【MIES_RECOMPUTE_THRESHOLD】
当前可下发的请求block数占总block数的比例(也就是block资源利用率)建议在0.5上下
【maxPrefillBatchSize】
最大prefill batch size,maxPrefillBatchSize和maxPrefillTokens谁先达到各自的取值就完成本次组batch
【maxPrefillTokens】
每次Prefill时,当前batch中所有input token总数,不能超过maxPrefillTokens,maxPrefillTokens和maxPrefillBatchSize谁先达到各自的取值就完成本次组batch。
【maxBatchSize】
decode 阶段一次推理包含请求的最大数,一般情况下,maxBatchSize 越大,吞吐率越大。
【supportSelectBatch】
true,表示每一轮调度时,根据当前Prefill与Decode请求的数量,自适应调整Prefill和Decode阶段请求调度和执行的先后顺序。
吞吐优先时,建议设置为:true。
首token时延优先时,建议设置为:false。
【prefillTimeMsPerReq】
平均每个请求Prefill时间,建议值:600ms;若需要降低首token时延可适当调小。
计算与decodeTimeMsPerReq的比值,即 prefillTimeMsPerReq/decodeTimeMsPerReq,该比值越大,调度时优先做Decode,会降低Decode时延,提高首token时延。
【decodeTimeMsPerReq】
平均每个请求Decode时间。建议值:50ms; 建议仅调整prefillTimeMsPerReq值,该值固定为50ms。
【maxQueueDelayMicroseconds】
Prefill组Batch时,最大等待时长, 建议值:500us; 该值设置越大,队列等待时间越长,Prefill阶段的BatchSize会越大。
【maxPreemptCount】
当环境变量 MIES_USE_MB_SWAPPER为"1"时该参数生效;建议值 0 (关闭) 每一批次最大可抢占请求的上限,即限制一轮调度最多抢占请求的数量。
取值大于0则表示开启可抢占功能。