1. 背景概述在基于 MindIE 推理解决方案部署大语言模型（如 Qwen3-4B-Instruct）时，Prefix Cache技术是提升推理吞吐量和降低首字延迟的关键特性。该机制通过复用历史请求中相同的前缀 Token 对应的Block，避免重复计算。然而，在特定场景下（如 MindIE 2.2.RC1 版本），开启 Prefix Cache 后偶发出现推理输出为空、乱码或截断现象。该问题具有“偶发但可稳定复现”、“重启服务可恢复”以及“多节点集群中多套服务同时出现”的特征。 2. 问题现象 ●软件版本：MindIE 2.2.RC1 ●模型：Qwen3-4B-Instruct-2507 ●硬件环境：Atlas 800I A2 单卡 ●现象描述： a.在开启 Prefix Cache 功能的推理服务中，特定 Prompt 的推理结果出现异常（输出为空、乱码或仅包含部分前缀内容）。 b.该问题具有稳定性：一旦触发，后续相同或相似请求均会复现异常。 c.影响范围：在包含 7 套服务的集群中，多套服务均出现相同问题。 d.恢复方式：重启服务后问题暂时消失，但再次触发相同条件后问题重现。 3. 排查与定位过程 3.1 初步验证与假设首先，通过控制变量法验证问题是否与模型本身或通用 Prompt 有关： ●测试方法：保留相同的前缀 Prompt，仅修改最后的提问部分，生成 5000 条测试数据并在 Qwen3-4B 模型上运行。 ●结果：未出现乱答或异常输出。 ●初步结论：模型权重及基础推理逻辑正常，问题高度疑似与 Prefix Cache 机制相关。 3.2 复现问题为了进一步确认，采用以下策略构造测试用例以打满前缀缓存并触发异常： 1.基于客户提供的两条出现问题的 Prompt，进行同义替换、语序调整及说明增删，生成变体。 2.持续发送请求直至前缀缓存被填满。 3.结果：在运行至第 1700+ 条请求时，成功复现异常输出。 3.3 深度分析：Dump 数据对比采集正常请求与异常请求在相同输入下的 Dump 数据，重点对比 Block 命中情况： ●命中情况：两者均命中三条 Block。 ●数据对比：对 Block 的 Shape、最大值、最小值、均值及余弦相似度进行对比。 ●发现：第一条 Block 的数据特征存在差异，而第二、三条 Block 完全一致。 ●推测：Prefix Cache 在搜索和匹配 Block 时的逻辑可能存在缺陷，导致错误地复用了不匹配的 Block。 3.4 版本对比与代码定位对比 MindIE 2.2.RC1 与 2.3.0 版本的代码实现： ●2.3.0 版本：持续运行 30+ 小时未出现异常。代码审查发现，2.3.0 版本在查找命中 Block 时使用的是遍历法。 ●2.2.RC1 版本：使用的是二分法进行 Block 查找。通过修改 2.2.RC1 版本代码，引入遍历法并添加日志打点，对比两种算法的结果：std::vector PrefixCacheBlockAllocator::FindCachedBlocksPrefix(std::vector &blockHashes) const { // 原二分法逻辑 auto it = lower_bound(blockHashes.begin(), blockHashes.end(), true, [this](HashValue prefixHash, int targetValue) { targetValue = targetValue; return this->IsBlockCached(prefixHash); }); std::vector result1; // 二分法结果 for (auto iter = blockHashes.begin(); iter != it; ++iter) { auto cachedIt = cachedBlocks_.find(*iter); MINDIE_LLM_LOG_INFO("二分IsBlockCached: " << IsBlockCached(*iter)); if (cachedIt != cachedBlocks_.end()) { result1.push_back(cachedIt->second); MINDIE_LLM_LOG_INFO("===> PrefixCacheBlockAllocator blockHash=" << cachedIt->first << " blockIDs =" << cachedIt->second << " is computed:" << IsBlockCached(cachedIt->first)); } } std::vector result2; // 遍历法结果 for (auto blockHash : blockHashes) { auto cachedIt = cachedBlocks_.find(blockHash); MINDIE_LLM_LOG_INFO("遍历IsBlockCached: " << IsBlockCached(blockHash)); if (IsBlockCached(blockHash) && cachedIt != cachedBlocks_.end()) { result2.push_back(cachedBlocks_.at(blockHash)); } else { break; } } MINDIE_LLM_LOG_INFO("二分:" << result1); MINDIE_LLM_LOG_INFO("遍历:" << result2); return result1; // 原代码返回二分法结果 } 日志对比显示，二分法与遍历法在某些场景下返回的 Block ID 不一致，证实了二分法查找逻辑存在偏差。 4. 根因分析问题的核心在于 Prefix Cache 中 Block 哈希值的有序性假设与实际情况不符。 1.二分法的前提：二分查找算法通常要求数据序列具有单调性（如非递减）。在 Prefix Cache 的实现中，二分法假设 Block 的哈希值或缓存状态满足某种有序特征。 2.实际场景偏差： ○假设一个请求序列为 ABCDEFGHIJKLMN，每个 Block 支持 4 个 Token。 ○输入总共组成 4 个 Block。 ○当使用二分法查找时，算法可能定位到中间的某个 Block（如 Block 3）满足 IsBlockCached 条件，并认为后续 Block 也满足，从而停止搜索或错误地复用。 ○然而，实际上前面的 Block（如 Block 1）可能并不满足缓存复用条件（例如哈希冲突或状态不一致）。 ○由于二分法跳过了前面的检查，导致错误地复用了未计算或状态不匹配的 Block，进而引发输出异常。 3.遍历法的优势：遍历法逐个检查每个 Block 的缓存状态，不依赖数据的有序性假设，能够严格确保每个复用的 Block 都是有效且已计算的，从而避免了上述误判。 5. 解决方案 5.1 长期方案：版本升级建议将 MindIE 升级至 2.3.0 或更高版本。该版本已修复 Prefix Cache 的查找逻辑，采用遍历法替代二分法，从根本上解决了因算法假设不符导致的 Block 复用错误问题。 5.2 临时方案：服务重启若暂时无法升级版本，在出现异常后，重启推理服务可清空当前的 Prefix Cache 状态，使服务恢复正常。但这仅为临时缓解措施，问题会在相同条件下再次复现。 6. 附录：开发与调试指南 6.1 ATB 场景 Dump 数据采集在进行精度或性能调试时，可能需要采集 ATB（Ascend Tensor Boost）数据。以下是基于 msprobe 工具的采集步骤： 1.安装 msprobe：git clone https://gitcode.com/Ascend/msprobe.git cd msprobe pip install setuptools wheel python3 setup.py bdist_wheel --include-mod=atb_probe --no-check cd ./dist pip install ./mindstudio_probe*.whl 2.配置与采集：详细操作请参考：ATB Data Dump Instruct ○修改 dump 配置文件。 ○注意：配置修改后需要一定时间读取，且激活 dump 模块需要发送至少一条请求。 ○操作流程：配置好唤醒 ATB dump 模块 -> 发送一条或多条请求 -> 开启 dump 采集。 ○结束条件：直到 atb_dump_data 文件夹体积不再增大时，采集完成。 6.2 MindIE-LLM 源码编译指南若需针对特定版本（如 2.2.RC1）进行代码修改或调试，建议使用 Ubuntu 系统镜像进行编译，因为 OpenEuler 商发镜像可能缺少部分编译环境依赖。 1.环境准备：git config --global user.name git config --global user.email 2.获取代码：git clone https://gitcode.com/Ascend/MindIE-LLM-private.git cd MindIE-LLM-private # 切换到目标版本分支 git checkout 2.2.RC1 3.代码修改与编译：# 修改相关源文件，例如： vim src/block_manager/prefix_cache_block_allocator.cpp # 执行编译 bash build.sh # 或者生成完整安装包： # bash build.sh release 注：bash build.sh release 会在 output/${ARCH} 目录下生成 .run 安装包。若仅需替换 .so 文件进行调试，直接执行 bash build.sh 即可。