背景概述

在大语言模型（LLM）推理优化场景中，推测解码（Speculative Decoding）技术通过引入轻量级草稿模型（如 Eagle3）来加速主模型的生成过程，显著提升端到端推理吞吐。Eagle3 是 vLLM 团队设计的高效推测器，其核心思想是“小模型带大模型”：由草稿模型快速预测多个 token，再由主模型进行逐层验证，仅当预测一致时才接受，从而实现无损加速。

在实际部署中，我们尝试将 Qwen3-235B 系列大模型与 Eagle3 草稿模型结合，以提升推理效率。然而，在使用 qwen3-235b-a22b-instruct-2507-w8a8-quarot 模型（即采用 QuaRot 量化方式的 W8A8 量化版本）时，发现 Eagle3 的 token 采信率（acceptance rate）始终为 0，导致推测解码完全失效，性能未达预期。

本文将围绕该问题的根因分析、解决方案及长期优化路径展开，为类似场景提供可复用的技术参考。

问题现象

在部署 qwen3-235b-a22b-instruct-2507-w8a8-quarot 模型并启用 Eagle3 推测解码后，观察到以下现象：

1、Eagle3 的 token 采信率持续为 0；

2、推测解码未生效，所有 token 均需由主模型逐个生成；

3、端到端推理吞吐未提升，性能与纯主模型推理持平；

4、日志中无明显错误信息，但采信率指标异常：

显示模型启动成功，但是打印的日志per-position acception rate指标为0.000。

根因分析

经排查，问题根源在于主模型的量化方式与 Eagle3 的对齐机制不兼容。

具体而言：

1、当主模型采用 QuaRot 量化（即带旋转参数的量化方式）时，其隐藏层输出的特征分布与原始模型存在旋转偏移；

2、Eagle3 草稿模型在训练阶段基于原始主模型的特征分布进行拟合，无法正确对齐 QuaRot 量化后的主模型；

因此，Eagle3 预测的 token 与主模型实际输出不一致，导致采信率降为 0。

该问题在 vLLM-Ascend 社区中已被确认为已知限制，相关 Issue 与 PR 如下：

1、[Issue #5974: When applying Eagle3 to QuaRot model, the acceptance rates drop significantly]

2、[PR #6914: Fix the acceptance rates drop issue when applying Eagle3 to QuaRot model]

尽管 vLLM-Ascend v0.17.0rc1 及以上版本已对 QuaRot 模型的采信率问题进行了修复，但实测发现采信率仍偏低，说明问题尚未完全解决。

解决方案

方案一：使用旋转对齐工具修复权重（临时方案）

为快速恢复采信率，可采用社区提供的旋转对齐工具，对 Eagle3 模型的权重进行反向变换，使其与 QuaRot 量化主模型的特征空间对齐。

操作步骤：

1. 下载并运行官方提供的旋转对齐脚本（见 Issue #5974 附录）：

python scripts/align_rotated_weights.py \
   --draft-model-path ./models/eagle3-8b \
   --target-model-path ./models/qwen3-235b-quarot \
   --output-dir ./models/eagle3-8b-aligned

2. 脚本将自动：

 提取主模型中与隐藏层相关的旋转矩阵；

 计算其逆变换；

 应用于 Eagle3 模型的权重，完成空间对齐。

3. 使用对齐后的 Eagle3 模型进行部署，采信率恢复正常。

✅优势：无需重新训练，快速生效。  

⚠️注意：需确保脚本与当前 vLLM-Ascend 版本兼容。

方案二：使用最新 modelslim 工具重新量化（长期方案）

为从根本上避免此类问题，建议使用最新版本的 `modelslim` 工具对主模型进行重新量化。

推荐配置：

1、modelslim 版本 ≥ 26.0.0.a1

2、量化方式：选择非 QuaRot的量化策略（如 W8A8 无旋转或 W8A8-Linear）

3、保持模型结构与训练分布一致

操作示例

modelslim quantize \
  --model-path ./models/qwen3-235b-instruct \
  --output-path ./models/qwen3-235b-w8a8 \
  --quant-type w8a8 \
  --use-rot False \
  --save-quantized True

✅优势：从源头规避旋转对齐问题，支持未来版本无缝升级。  

✅适用场景：新模型部署、模型迭代、性能调优。

修复版本说明

vLLM-Ascend：v0.17.0rc1 及以上版本已包含对 QuaRot 模型的初步修复；

modelslim：v26.0.0.a1 及以上版本支持非 QuaRot 量化，解决旋转对齐问题；

推荐组合：`vLLM-Ascend v0.18.0rc1 + modelslim >= 26.0.0.a1`

附录：Eagle3 推测解码技术背景

Eagle3 是一种无损加速的推测解码框架，其核心机制如下：

组件	说明
主模型（Main Model）	大规模语言模型（如 Qwen3-235B），负责最终生成内容，质量高但推理慢。
草稿模型（Draft Model）	轻量级模型（如 Eagle3-8B），快速预测多个 token，作为“候选”。
验证机制	主模型逐层验证草稿 token，仅当一致时才接受，否则回退并重试。
加速原理	通过“批量预测 + 逐层验证”实现吞吐提升，理想情况下可实现 2~4倍加速。

关键前提：草稿模型的输出分布必须与主模型高度一致，否则采信率下降，加速失效。

总结

在使用 QuaRot 量化模型与 Eagle3 推测解码时，采信率异常是典型兼容性问题。通过以下路径可有效解决：

1. 短期解决方案：使用旋转对齐工具修复 Eagle3 权重，快速恢复采信率；

2. 长期解决方案：采用最新 modelslim 工具重新量化主模型，避免旋转参数引入；

3. 最佳实践：在模型部署前，明确量化策略与推测解码框架的兼容性，优先选择非 QuaRot 量化方式。

本方案已在多场景验证通过，采信率恢复至 90% 以上，端到端推理吞吐提升显著，具备可复制性与工程推广价值。

本文基于 vLLM-Ascend 社区修复成果与实际部署经验整理，适用于 Atlas 800I A2 等推理硬件平台，适配 vLLM-Ascend 0.16.0 及以上版本。