1. 背景概述在使用 vLLM 框架部署多模态大模型（如 Qwen3-VL 系列）时，可能会遇到服务无响应、前端请求超时，但后端服务进程并未崩溃且无明显报错日志的现象。这种“假死”状态通常表现为 EngineCore 进程 CPU 占用率异常飙升，导致服务无法处理新的推理请求。 2. 问题现象在部署 Qwen3-VL-32B 模型进行多模态推理时，出现以下典型症状： 1.前端超时：客户端调用接口返回 Gateway Timeout，无法获取推理结果。 2.服务看似正常：后端服务进程未中断，常规服务日志中未出现导致服务崩溃的 500 错误，plog 中无异常记录。 3.资源占用异常： ○通过 npu-smi info 观察，NPU 的 AICORE 占用率为 0，表明没有实际的模型计算任务在执行。 ○通过 top 命令观察，EngineCore 进程在无新请求的情况下，CPU 利用率异常维持在 90%-100%，表明存在非预期的持续计算任务。 3. 故障排查与分析针对上述现象，我们按照从宏观资源监控到微观代码执行的逻辑进行了层层排查。 3.1 进程状态与调度分析首先，通过检查进程的系统调用状态和调度行为，判断进程是处于阻塞状态还是活跃状态。 ●系统调用状态：检查 /proc/[PID]/syscall，发现进程状态为 running，内核栈显示 __switch_to。这确认进程处于用户态运行状态，并未阻塞在内核 I/O 或等待系统调用返回。 ●上下文切换分析： ○voluntary_ctxt_switches（自愿切换）：零增长。说明进程从未主动放弃 CPU 时间片。 ○nonvoluntary_ctxt_switches（非自愿切换）：持续上升。说明进程因时间片耗尽被操作系统强制切换。 ○结论：这种“高 CPU 占用 + 无自愿切换 + 无内核阻塞”的特征，强烈暗示进程陷入了死循环（Dead Loop）或忙轮询（Busy-polling）。 3.2 火焰图定位热点代码为了进一步确认死循环的具体位置，在测试环境中安装 py-spy 并收集火焰图。通过火焰图分析发现，在采集期间，进程几乎全部时间都消耗在 cachetools 库的 setitem 方法上，且堆栈主要集中在循环条件判断和 popitem 操作上。这表明问题出在缓存管理的内部逻辑中。 3.3 根因定位：LRUCache 状态不一致深入分析 EngineCore 中维护的多模态数据 Cache 逻辑，发现其底层使用了自定义的 LRUCache。该缓存结构包含两个关键部分： 1.order：记录 Key 访问顺序的队列。 2.data：继承自 Cache 对象的字典，记录 Key 和 Value 的映射。触发条件与死循环机制： 1.异常前置：在故障发生前，系统曾抛出 Expected cached item for mm_hash='xxxx' 异常。 2.状态不一致：抛出该异常前，代码已将对应的 mm_hash 写入 order 队列，但由于异常中断，并未同步写入 data 字典，也未完成完整的缓存更新流程。 3.死循环形成： ○当后续触发 Cache 回收机制时，LRUCache 尝试通过 popitem 清理旧数据。 ○由于 order 中存在 data 中不存在的 Key，popitem 无法找到对应的 Value 进行删除。 ○无论调用多少次 popitem，都无法实质性地释放对象或移除 order 中的脏数据。 ○缓存回收逻辑陷入无限循环，导致 CPU 100% 占用，服务假死。 4. 解决方案针对该问题，提供两种不同层级的解决方案，分别适用于紧急规避和长期治理。 4.1 临时规避方案如果业务对多模态缓存带来的性能增益不敏感，或者需要立即恢复服务，可以通过关闭多模态处理器缓存来规避此问题。操作方式：在启动 vLLM 服务时，添加以下参数：--mm_processor_cache_gb 0 影响评估： ●优点：彻底避免缓存状态不一致导致的死循环风险，服务稳定性提升。 ●缺点：对于同一张图像或视频帧的重复访问场景，无法利用缓存加速，会导致推理延迟增加，吞吐量有所下降。 4.2 彻底解决方案该问题源于开源社区 vLLM 框架中 LRUCache 实现的逻辑缺陷。官方已在后续版本中修复了该 Bug。修复进展： ●Issue 链接：vllm-project/vllm#43941 ●修复 PR：vllm-project/vllm#46747 建议措施：请升级 vLLM 至 v0.28.0 或更高版本。该版本已包含上述修复 PR，能够正确处理缓存 Key 不一致的情况，防止死循环发生。 5. 总结在多模态大模型推理服务中，缓存机制对于提升重复请求的性能至关重要，但其内部状态的一致性维护需要格外谨慎。当遇到服务 CPU 满载但无实际计算任务时，应重点排查缓存回收、日志轮转等后台任务的逻辑闭环。建议在升级框架版本的同时，关注多模态缓存相关的配置参数，以平衡性能与稳定性。