[object Object]

部分大模型输出结果时会附带其思考过程，本特性旨在控制模型思考深度，当思考内容超过设定的thinking_budget时，系统会使用提示词对思考过程进行截断，促使模型提前结束思考。该特性适用于在响应速度与答案质量之间灵活权衡的场景。

[object Object]

• Atlas 800I A2 推理服务器、Atlas 800I A3 超节点服务器和Atlas 300I Duo 推理卡支持此特性。
• 当前仅Qwen3-32B、Qwen3-235B-A22B和Qwen3-30B-A3B模型支持此特性。
• 开启thinking_budget需在请求中传入如下字段："chat_template_kwargs": {"thinking_budget": <uint32_t>}, 取值范围为[1, MAX_UINT32_T]。
• 当前仅支持OpenAI推理接口。
• 该特性暂不支持与use_beam_search等多序列推理相关的后处理参数同时开启。

[object Object]

开启思考预算特性，需要配置的参数如所示。

表 1 思考预算特性补充参数：ModelConfig中的models参数 [object Object][object Object]

[object Object]undefined[object Object]

1. 打开Server的config.json文件。

   • whl包安装方式：

     [object Object]

   • run包安装方式：

     [object Object]

2. 配置服务化参数。按照在Server的config.json文件中添加“early_stopping_text”字段，服务化参数说明请参见章节，参数配置示例如下。

   以Qwen3-32B为例：

   [object Object]

   [object Object]

3. 启动服务。PD混部场景可请参考《MindIE Motor CPP开发指南》中的“快速入门 > ”章节， PD分离场景可参考《MindIE Motor CPP开发指南》中的“集群服务部署 > ”章节。

4. 发送请求。参数说明见《MindIE LLM开发指南》中的“”章节。