--- title: VLLM-Ascend 启动后出现 Invalid JSON 错误的排查与解决-官方技术文章-昇腾社区 description: 在基于 CANN 与 PyTorch 构建的推理服务中，使用 VLLM 框架部署大语言模型时，反馈在服务启动后，所有请求均返回 400 错误，且日志中提示“Invalid JSON”或“JSON 解析失败”。 keywords: VLLM,Ascend,启动后出现,Invalid,JSON,错误的排查与解决,官方技术文章,昇腾社区 url: https://www.hiascend.com/developer/techArticles/20260709-9 section: (其他) --- # VLLM-Ascend 启动后出现 Invalid JSON 错误的排查与解决-官方技术文章-昇腾社区 URL: https://www.hiascend.com/developer/techArticles/20260709-9 描述: 在基于 CANN 与 PyTorch 构建的推理服务中，使用 VLLM 框架部署大语言模型时，反馈在服务启动后，所有请求均返回 400 错误，且日志中提示“Invalid JSON”或“JSON 解析失败”。 关键词: VLLM,Ascend,启动后出现,Invalid,JSON,错误的排查与解决,官方技术文章,昇腾社区 官方技术文章 [了解详情](https://www.hiascend.com/zh/developer/techArticles) VLLM-Ascend 启动后出现 Invalid JSON 错误的排查与解决 VLLM-Ascend 启动后出现 Invalid JSON 错误的排查与解决 vLLM 发表于: 2026/07/09 24 0 ## 背景概述 在基于 CANN 与 PyTorch 构建的推理服务中，使用 VLLM 框架部署大语言模型时，反馈在服务启动后，所有请求均返回 400 错误，且日志中提示“Invalid JSON”或“JSON 解析失败”。 ## 问题现象 拉起服务后，出现所有请求均400失败的情况 `{"error": "Invalid JSON", "message": "Failed to parse request body"}` ## 故障排查过程 1. 初步验证请求格式使用`curl`工具构造标准 JSON 请求体，手动格式化并，问题依旧存在，排除格式问题。 2. 分阶段定位问题通过日志分析发现： Prefill 阶段：请求处理成功，模型完成初始推理。 Decode 阶段：请求在生成响应时失败，错误集中在 JSON 解析环节。 3. 功能排查逐步模型的 Function Call 功能，发现当禁用 Function Call 后，请求恢复正常。由此判断问题与 Function Call 的解析逻辑相关。 4. 参数分析拉起服务的时候加上 --enable-auto-tool-choice 和 --tool-call-parser hermes 后, 请求全部正常。 ## 根因分析 拉起服务的时候加上 --enable-auto-tool-choice 和 --tool-call-parser hermes即可。 ## 解决方案 在启动 VLLM 服务时，需添加以下两个参数： --enable-auto-tool-choice \ --tool-call-parser hermes ### 参数说明 ● `--enable-auto-tool-choice`启用模型根据上下文自动判断是否调用工具的功能，适用于支持 Function Call 的模型。 ● `--tool-call-parser hermes`指定使用 Hermes 格式解析器，用于正确解析`tool_calls`字段的 JSON 结构，确保返回结果符合标准 JSON 规范。 ## 总结 若出现“Invalid JSON”或“JSON 解析失败”问题，应优先检查是否启用了`--enable-auto-tool-choice`和`--tool-call-parser hermes`参数。这两个参数是确保工具调用响应正确解析的关键配置，建议在服务启动脚本中显式声明，避免因遗漏导致推理失败。 边框设置 无框线 边距 宽度 1磅 颜色 自由布局设置 整体布局 子模块 评论 修订记录 对正文进行的文本增删、样式修改都将标记为修订 自定义多级列表 列表设置 - 1 - 2 - 3 - 4 - 5 - 6 - 7 - 8 - 9 - 1. - a. - i. - 1. - a. - i. - 1. - a. - i. 前缀 无 序号 1 2 3 ... 后缀 . 编号格式 列表显示 继承层级 不继承 位置 对齐方式 默认 单元格边距 边距 默认 左边距 cm 右边距 cm 上边距 cm 下边距 cm 点赞 0 本页内容 背景概述 [了解详情](https://www.hiascend.com/#4sQ0c2qAr6Hz0lsppd77Ts) 问题现象 [了解详情](https://www.hiascend.com/#6eckC3UfxKTfw978v0vJQD) 故障排查过程 [了解详情](https://www.hiascend.com/#4hXquYpmukCOw2XFm7gPQj) 根因分析 [了解详情](https://www.hiascend.com/#6uklscBFo4MCCIYO24qTLq) 解决方案 [了解详情](https://www.hiascend.com/#7kmZ1MG3IHdfqFn1swvUke) 总结 [了解详情](https://www.hiascend.com/#45ojgeIgSkx3mKzySnXRDR)