部分大模型输出结果包含思考过程,本特性旨在对大模型的输出内容进行结构化解析,将模型在推理过程中产生的“思考过程(think)”与最终的“输出结果(content)”进行分离,并分别存储于"reasoning_content"和"content"两个字段中。
- reasoning_content:用于存储模型在生成回答前的推理、分析、逻辑判断等内部思维过程。
- content:用于存储模型最终对外输出的回答或决策结果。
- Atlas 800I A2 推理服务器、Atlas 800I A3 超节点服务器和Atlas 300I Duo 推理卡支持此特性。
- 当前仅Qwen3-32B、Qwen3-235B-A22B、Qwen3-30B-A3B、DeepSeek-R1和DeepSeek-V3.1模型支持此特性。
- DeepSeek-V3.1模型开启思考解析时,需在请求中传入如下字段:"chat_template_kwargs": {"enable_thinking": <bool>},或者在tokenizer_config.json中添加"enable_thinking": <bool>
- 当前仅支持OpenAI推理接口。
表 1 思考解析特性补充参数:ModelConfig中的models参数 [object Object][object Object]
打开Server的config.json文件。
whl包安装方式:
[object Object]run包安装方式:
[object Object]
配置服务化参数。按照在Server的config.json文件中添加“enable_reasoning”字段,服务化参数说明请参见章节,参数配置示例如下。
以Qwen3-32B为例:
[object Object][object Object]
启动服务。
whl包安装方式:
[object Object]run包安装方式:
[object Object]
发送请求。参数说明见《MindIE Motor开发指南》中的“集群管理组件 > 调度器(Coordinator) > RESTful接口API > 用户侧接口 > OpenAI推理接口”章节。