部分大模型输出结果包含思考过程,本特性旨在对大模型的输出内容进行结构化解析,将模型在推理过程中产生的“思考过程(think)”与最终的“输出结果(content)”进行分离,并分别存储于"reasoning_content"和"content"两个字段中。
- reasoning_content:用于存储模型在生成回答前的推理、分析、逻辑判断等内部思维过程。
- content:用于存储模型最终对外输出的回答或决策结果。
- Atlas 800I A2 推理服务器、Atlas 800I A3 超节点服务器和Atlas 300I Duo 推理卡支持此特性。
- 当前仅Qwen3-32B、Qwen3-235B-A22B、Qwen3-30B-A3B、DeepSeek-R1和DeepSeek-V3.1模型支持此特性。
- DeepSeek-V3.1模型开启思考解析时,需在请求中传入如下字段:"chat_template_kwargs": {"enable_thinking": <bool>},或者在tokenizer_config.json中添加"enable_thinking": <bool>
- 当前仅支持OpenAI推理接口。
表 1 思考解析特性补充参数:ModelConfig中的models参数 [object Object][object Object]