精品案例6 具身智能系统一、精品案例简介 ●实现语音或文本输入接口，支持用户以多种方式交互。 ●数字人以语音和文字两种方式回复用户。 ●根据对话内容展示相应表情（情感表达）。 ●解析对话中的动作意图，驱动机械臂执行对应动作。二、精品案例 1.准备硬件 1)windwos电脑：8G以上，50G空余磁盘 2)环形麦克风：语音采集 3)扬声器：数字人的嘴巴 4)屏幕：数字人的脸 5)机械臂：数字人的肢体 2.准备软件大模型服务包：存储在实验台主机“/home/HwHiAiUser/winserver.zip” 3.实验原理 Ollama 是目前最简单的本地大模型运行平台之一。通过它，你无需复杂配置，就能快速下载、部署并运行 gpt-oss、Gemma 4、DeepSeek-R1、Qwen3 等大型语言模型。这里使用Qwen3-1.7B模型，Qwen3-1.7B是阿里巴巴通义千问系列模型Qwen3的子模型，于2025年4月28日发布并在Apache 2.0许可下开源。该模型属于Dense稠密模型系列，参数规模为17亿，支持32K上下文长度和119种语言多语言处理能力，采用分组查询注意力（GQA）、SwiGLU激活函数、旋转位置编码（RoPE）等技术架构。其预训练数据量达36万亿token，覆盖数学、编程及多语言内容，支持思考模式（复杂推理）与非思考模式（高效对话）动态切换。 4.核心代码分析与模型部署 EmbodiedAI是一个具身对话机器人：main.py启动ROS2机械臂节点和PySide6界面；环形麦克风经串口检测唤醒词后录音，通过MQTT与HTTP上传至大模型；大模型返回文本、情绪与TTS后，界面同步更新虚拟人表情，并按情绪驱动双臂运动，形成语音交互到多模态表达的闭环。图1：软件结构图 1)核心模块与代码 def _record_loop(self): """录音工作线程 (非阻塞模式)""" while self._running: if self.ip is None and self.port is None: # 大模型连接检测 time.sleep(0.25) continue self._awake.wait() # 等待唤醒 # ... self.mqtt_client.publish_angle(angle) pcm_path = record_pcm(wav_path, self._cfg["RECORD_TIME"], ...) if pcm_path: wav_file = pcm_to_wav(pcm_path, ...) self.mqtt_client.publish_wav(publish_path) self.mqtt_client.upload_audio(publish_path, self.ip, self.port) 该函数在独立线程中循环等待麦克风唤醒；唤醒后先发布声源角度，再调用ALSA录音并转为WAV，最后通过MQTT发布文件路径，并将音频HTTP上传至大模型服务。 def _on_ollama_response(self, result): self._append_chat_message("小薇：", self._format_ollama_result(result)) emotion = self._extract_emotion(result) if emotion != self._current_emotion: self._current_emotion = emotion pose = self._pose_mgr.get(emotion.value) self._move_arm(pose.left, pose.right, int(pose.duration * 1000), timeout_s) self.engine.drive_emotion(emotion, self._intensity, self._duration) else: pose = self._pose_mgr.get(emotion.value) self._move_arm(pose.left, pose.right, int(pose.duration * 1000), timeout_s) 该回调解析大模型返回结果，将回复文本显示到聊天窗口；从中提取情绪标签，查表获取对应双臂姿态并下发运动指令，同时调用表情引擎切换虚拟人面部表情。 2)模型输入与前处理 (1)串口唤醒帧解析 def feed(self, data: bytes): """送入串口原始字节，返回解析出的事件列表""" events = [] for byte in data: self._buffer.append(byte) if self._count == 0 and byte != FRAME_HEADER: self.reset() continue # ... 帧头校验、长度计算、校验和验证 ... if self._count == self._frame_len: if self._check_sum(self._frame_len - 1) == self._buffer[self._frame_len - 1]: event = self._process_frame() if event: events.append(event) return events def _process_frame(self): msg_type = self._buffer[2] if msg_type == MSG_WAKEUP: payload_str = bytes(self._buffer[7:self._frame_len - 1]).decode("utf-8") json1 = json.loads(payload_str) json2 = json.loads(json1.get("content", {}).get("info", "{}")) angle = json2.get("ivw", {}).get("angle", 0) return {"type": "wakeup", "angle": angle} 该函数负责解析麦克风发来的信号：麦克风通过数据线传来一串原始数据，程序逐字节检查是否完整、是否正确，再从里面读出关键词“小薇”以及说话人说话的大致方位。 (2)音频采集与格式标准化 inp = alsaaudio.PCM(alsaaudio.PCM_CAPTURE, alsaaudio.PCM_NORMAL, device=device) inp.setchannels(channels) # 声道数 1 inp.setrate(rate) # 采样率 16000 inp.setformat(alsaaudio.PCM_FORMAT_S16_LE) inp.setperiodsize(160) with open(output_path, "wb") as f: frames_recorded = 0 frames_target = rate * duration while frames_recorded < frames_target: length, data = inp.read() if length > 0: f.write(data) frames_recorded += length with open(pcm_path, "rb") as f: pcm_data = f.read() header = struct.pack( '<4sI4s4sIHHIIHH4sI', b'RIFF', 36 + data_size, b'WAVE', b'fmt ', 16, 1, channels, framerate, framerate * channels * sample_width, channels * sample_width, sample_width * 8, b'data', data_size, ) with open(wav_path, "wb") as f: f.write(header) f.write(pcm_data) 被唤醒后，程序会样录下用户说的话，默认录约10秒；录完先把声音存成原始文件，再转成常见的WAV格式，方便后续发给大模型解析用户多说的内容。 (3)语音模型输入 def upload_audio(self, wav_path: str, ip: str, port: str) -> bool: url = f'http://{ip}:{port}/api/audio' timeout = self._cfg.get("AUDIO_SERVER", {}).get("timeout", 30) if not os.path.exists(wav_path): logger.error(f"音频文件不存在: {wav_path}") return False with open(wav_path, "rb") as f: files = {"audio": (os.path.basename(wav_path), f, "audio/wav")} response = requests.post(url, files=files, timeout=timeout) response.raise_for_status() 该函数处理完成的WAV文件作为模型输入，通过HTTP网络发给大模型服务器，服务器收到后会识别内容并生成回复。 (4)文本模型输入 def request_text(self, prompt: str, ip: str, port: str) -> dict: url = f"http://{ip}:{port}/api/chat" timeout = self._cfg.get("AUDIO_SERVER", {}).get("timeout", 30) response = requests.post(url, json={"text": prompt, "prompt": prompt}, timeout=timeout, stream=True) response.raise_for_status() 除了语音，用户也可以在界面里打字聊天；该段代码通过程序内部的专用接口将用户输入的文字打包发给大模型。 3)模型输出与后处理 (1)接收大模型返回的数据 for line in response.iter_lines(): if line: line_str = line.decode("utf-8") try: result = json.loads(line_str) if result.get("type")=="text": if self.on_llm_response: self.on_llm_response(result) elif result.get("type")=="audio": audio_url = result["audio_url"] self._download_and_callback_audio(audio_url) except Exception as e: logger.error(f"[语音流解析异常] 解析第 {line_idx} 行出错: {e}") 该段代码逐条读取服务器发来的信息，看到文字回复就转给界面显示，看到语音链接就下载。 (2)提取可读的文字回复 def _format_ollama_result(self, result): if isinstance(result, dict): reply = result.get("reply") if isinstance(reply, dict): inner = self._parse_ndjson_reply(reply.get("text", "")) if inner.get("text"): return inner["text"] if reply.get("text"): return reply["text"] other_reply = result.get("response") or result.get("message") if other_reply: return other_reply return "（大模型未响应有效文本）" return str(result) 大模型返回的内容格式比较复杂，该段代码将其中“小薇真正要说的话”找出来，去掉多余包装，变成界面上能直接显示的一整段文字。 (3)根据情绪驱动表情和机械臂 def _extract_emotion(self, result) -> Emotion: emotion_str = None reply = result.get("reply") if isinstance(reply, dict): emotion_str = reply.get("emotion") if not emotion_str: inner = self._parse_ndjson_reply(reply.get("text", "")) emotion_str = inner.get("emotion") if emotion_str and isinstance(emotion_str, str): key = emotion_str.lower().strip() if key in self._EMOTION_MAP: return self._EMOTION_MAP[key] return Emotion.NEUTRAL def _on_ollama_response(self, result): self._append_chat_message("小薇：", self._format_ollama_result(result)) emotion = self._extract_emotion(result) if emotion != self._current_emotion: self._current_emotion = emotion pose = self._pose_mgr.get(emotion.value) self._move_arm(pose.left, pose.right, int(pose.duration * 1000), timeout_s) self.engine.drive_emotion(emotion, self._intensity, self._duration) else: pose = self._pose_mgr.get(emotion.value) self._move_arm(pose.left, pose.right, int(pose.duration * 1000), timeout_s) 大模型回复里除了文字，还会带上情绪标签，比如“高兴”或“难过”；该段代码先读出情绪，再把文字显示到聊天窗口，同时让屏幕上的虚拟人换表情、让机械臂做出对应动作。 (4)下载并播放语音回复 def _download_and_callback_audio(self, audio_url: str): audio_r = requests.get(audio_url) audio_r.raise_for_status() local_wav_path = os.path.join(audio_dir, f"tts_{uuid.uuid4().hex[:8]}.wav") with open(local_wav_path, "wb") as wav_f: wav_f.write(audio_r.content) if self.on_tts_audio: self.on_tts_audio(local_wav_path) def _on_tts_audio(self, path): def play_thread(): device_name = self._cfg.get("PLAY_DEVICE", "USB") play_wav_by_device(device_name, path) t = threading.Thread(target=play_thread, daemon=True) t.start() 大模型还可以把回复转成语音；该段代码先从服务器把语音文件下载到本地，再在后台线程里通过扬声器播放出来。 5.项目启动与操作 1)准备服务器主机环境要求: (1)windows环境。 (2)安装前需关闭防火墙。 (3)需安装anaconda。注意： conda 4.5.11、conda 24.11.3 测试可以使用，其他conda版本未经测试。建议：电脑上存在可使用GPU 2)服务器环境配置 (1)搜索框搜索“ Anaconda Prompt ”点击打开“ Anaconda Prompt ” 进入OllamaServer目录。 cd Desktop\OllamaServer 图2：查看目录中的文件 (2)执行以下指令安装环境。 .\install.bat 如下图：图3：执行安装脚本执行脚本会删除已有的ollama（conda环境名）环境。图4：记录服务端代码的路径注：上图标注“ C:\Users ony\.conda\envs\ollama”也是服务端代码所在路径 “C:\Users ony\.conda\envs\ollama\ollama_server”。安装结束后点击回车键 “Enter”退出。图5：创建Ollama模型 3)服务器环境验证 (1)重新打开一个“ Anaconda Prompt ”，输入以下指令查看conda环境列表。 conda env list 结果如下图：图6：查看conda虚拟环境列表输入以下指令激活环境。 conda activate ollama 如下图表示conda环境创建成功：图7：激活虚拟环境 (2)启动服务器的ollama交互服务 ollama run qwen3:1.7b 启动成功如下：图8：启动交互服务 4)下载源代码链接（点击“链接”即可下载源代码压缩包）打开终端窗口，输入ls命令并按回车，查看AIExperimentalKit文件夹是否存在。如果AIExperimentalKit文件夹不存在，输入以下命令，创建AIExperimentalKit文件夹。 mkdir AIExperimentalKit 下载前课程的源代码，解压后复制EmbodiedAI文件夹到/home/HwHiAiUser/AIExperimentalKit目录下。 5)编译实验系统主机ROS节点 (1)编译ROS节点进入实验系统主机的ROS工作环境，执行如下指令： cd /home/HwHiAiUser/AIExperimentalKit/EmbodiedAI/embodiedROS_ws/ colcon build --packages-select ArmControl 结果如下图：图9：编译ROS节点 (2)验证编译 cd /home/HwHiAiUser/AIExperimentalKit/EmbodiedAI/ source ./embodiedROS_ws/install/setup.bash ros2 run ArmControl arm_ros_node 执行成功如下图：图10：验证ROS节点已启动 Ctrl+c可以退出。 6)进入具身智能系统项目目录输入如下指令进入项目目录。 cd /home/HwHiAiUser/AIExperimentalKit/EmbodiedAI 结果如下图：图11：进入项目目录 7)启动服务端（qwen3:1.7b） (1).搜索框搜索“ Anaconda Prompt ”点击打开“ Anaconda Prompt ” 激活ollama环境 conda activate ollama 图12：激活环境 (2).启动ollama_server。 (a)连接实验系统网络，以GL-MT300N-V2-8b3为例图13：连接Wifi 输入以下指令，查看IP地址。 ipconfig 注：正确网址格式 192.168.8.X 图14：查看网络的命令图15：当前网络信息 (b)进入conda环境（ollama环境名称）目录下ollama_serer目录。 1.查看ollama_serer所在路径 conda env list 如下图：图16：查看conda虚拟环境列表 2.进入ollama_server目录。 cd .conda\envs\ollama\ollama_server 图17：查看ollama_server目录中的内容 3.启动具身智能服务端 python ollama_server.py --host 192.168.8.219 启动成功如下图图18：启动具身智能服务端图19：服务已启动 8)启动客户端 (1)启动程序 cd /home/HwHiAiUser/AIExperimentalKit/EmbodiedAI python3 main.py 启动成功如图所示：图20：主页面 (2).程序配置 (a)输入大模型服务端IP地址和端口。图21：大模型配置 (b)点击“连接”按钮，按钮显示“已连接”表示大模型服务端连接成功。图22：大模型配置连接 9)具身配置微调当前表情（中性、高兴、愤怒、悲伤、喜悦）对应的机械臂动作。 (1)点击“具身设置”按钮，进入机械臂微调界面。图23：机械臂设置页面 (2)拖动滑块，调整当前情绪机械臂动作。机械臂调整范围（+10，-10）。图24：机械臂调整示例 (3)点击“保存”按钮，保存微调后机械臂动作图25：保存机械臂姿态 (4)点击“重置滑块”按钮，取消之前设置。图26：机械臂姿态重置 10)数字人交互交互输入包括文本输入和语音输入两种。 (1)文本交互输入框输入文本，点击“发送”按钮，与大模型交互。图27：文本交互1 图28：文本交互2 (2)语音交互靠近环形麦克风，“小薇小薇”语音唤醒麦克风，具身控制“传声器”显示绿色表示唤醒成功，并显示唤醒角度。图29：语音交互1 然后进行语音输入：图30：语音交互日志显示图31：语音交互2 6.实验结果通过语音、文本与具身智能数字人交互时，数字人会应答并表达出情绪，同时会通过肢体传达感情。 1)服务端交互输出由服务端统一返回文本、语音两类数据：文本：携带大模型回复内容与情绪信息，情绪数据驱动数字人表情及机械臂动作；语音：服务端基于文本完成 TTS 合成后下发，终端直接播放。图32：服务端 2)客户端图33：客户端高兴（Happy）：输入框输入“你应该高兴”可触发“高兴”情绪回复。图34：高兴情绪数字人示例图35：高兴情绪机械臂示例愤怒（Angry）:输入框输入“你应该愤怒”可触发“愤怒”情绪回复。图36：愤怒情绪数字人示例图37：愤怒情绪机械臂示例喜悦（Joy）：输入框输入“你应该喜悦”可触发“喜悦”情绪回复。图38：喜悦情绪数字人示例图39：喜悦情绪机械臂示例悲伤（Sad）：输入框输入“你应该悲伤”可触发“悲伤”情绪回复。图40：悲伤情绪数字人示例图41：悲伤情绪机械臂示例 7.拓展 1)如何通过极致 Prompt 约束彻底解决模型结构化输出格式异常问题？参考答案：通过极致 Prompt 约束解决模型结构化输出格式异常问题，需要从多层约束角度对模型输出行为进行限制。首先明确模型角色，将其定义为严格的数据结构生成器，要求模型仅完成结构化数据生成任务，禁止输出解释文本、Markdown 标记、代码块以及其他无关内容；其次对输出格式进行强约束，明确规定输出必须为合法 JSON 格式，指定固定的开始字符和结束字符，禁止添加任何前缀或后缀信息。同时，通过定义完整的 JSON 模式对输出字段进行约束，明确字段名称、数据类型、字段数量以及缺失字段时的默认填充值，避免出现字段缺失、类型错误等问题。此外，在 Prompt 中加入反例约束，列举错误输出形式，使模型明确禁止行为，提高格式遵循能力。