精品案例9 智慧门禁系统一、精品案例简介 ●实现面部注册、指纹注册和密码注册功能。 ●在主界面分别支持面部识别、指纹按压、密码键盘输入三种验证方式。 ●验证成功后更新门锁状态，弹出“开锁成功”提示并语音播报。 ●驱动步进电机完成“向右开锁→向左关锁”动作序列。二、精品案例 1.准备硬件 1)Ascend310 2)3D 摄像头：Orbbec Gemini，通过USB连接Ascend 310主机。 3)按键模块：磁吸按键传感器 4)指纹模块：三能指纹传感器，默认 /dev/ttyAMA1 5)语音模块：串口语音播报模块，默认 /dev/tty_jc_stm32 6)步进电机，默认 /dev/tty_jc_stm32 7)嵌入式鸿蒙主机磁吸底板 8)密码键盘，默认 /dev/tty_jc_stm32 9)指纹模块：默认 /dev/ttyAMA1 图1：硬件结构图注意事项 ➢磁吸模块需与底板接触良好，串口无法打开时优先检查 USB 线与磁吸连接。 ➢步进电机模块与数码管显示模块不能同时使用。 ➢指纹按压时保持手指清洁、完全覆盖传感器区域。 ➢3D 摄像头应固定于门禁系统正前方，保证注册与识别时面部正对镜头、光照均匀。 2.准备软件在启智01开发板中需要安装软件依赖PySide6、PyYAML、opencv、pyserial、torch、facenet-pytorch、numpy、Pillow、acl。 3.下载源代码链接（点击“链接”即可下载源代码压缩包）打开终端窗口，输入ls命令并按回车，查看AIExperimentalKit文件夹是否存在。如果AIExperimentalKit文件夹不存在，输入以下命令，创建AIExperimentalKit文件夹。 mkdir AIExperimentalKit 下载前课程的源代码，解压后复制smartdoorlock文件夹到/home/HwHiAiUser/AIExperimentalKit目录下。 4.检测项目的部署环境 1)输入如下指令进入项目目录图2：进入项目目录 2)输入如下指令验证python依赖 python -c "import cv2, yaml, torch, serial, PySide6; print('依赖检查通过')" 图3：验证Python依赖 3)输入如下指令验证ACL与模型文件 python -c "import acl; print('ACL 可用')" 图4：验证ACL 5.实验原理 1)FaceNet是一种深度度量学习网络，将面部图像映射到高维欧氏空间中的单位超球面，使同一人嵌入向量距离近、不同人距离远。本实验使用FaceNet提取512维特征向量，注册时将向量暂存，识别时与库中所有用户计算余弦相似度，超过阈值则判定为同一人。 2)MTCNN采用多任务级联卷积网络，依次完成面部区域提议、边界框回归和关键点定位，为后续对齐与特征提取提供精确ROI。 3)3D活体检测：利用Orbbec Gemini深度图，在眼—嘴四边形区域做平面拟合，并计算鼻尖相对眼、嘴的深度差值，求出活体概率。 6.核心代码分析与模型部署本系统软件采用Qt主线程+后台Worker线程+服务层架构。主线程负责UI刷新与定时轮询；面部注册/识别、指纹注册/识别和密码注册/识别在QThread中执行；各外设封装为独立Service，通过环境变量配置串口参数。软件结构图如下。图5：软件结构 1)核心模块与代码 #步进电机 def _run_unlock_then_lock_sequence(self) -> None: unlock_result = self._execute_action(self.ACTION_UNLOCK) # PM14W04D101 向右 if unlock_result != "ok": return self._execute_action(self.ACTION_LOCK) # PM14W04D100 向左 def _build_payload(action: int) -> bytes: return f"PM14W04D1{action & 0xFF:02X}".encode("ascii") # 0x01 → PM14W04D101（向右开锁，到右限位） # 0x00 → PM14W04D100（向左关锁，到左限位） 2)模型输入与前处理 (1)FaceNet 推理前处理 FaceNet推理前处理将BGR图像等比例缩放并填充到模型输入尺寸（如 160×160），可选转为RGB，再归一化到[0, 1]。输入为原图、目标尺寸和数据类型；输出为预处理图像，以及缩放比例和padding信息。 def preprocess_img(self, img, input_shape, data_type, bgr2rgb=True): img_padded, scale_ratio, pad_size = letterbox(img, new_shape=input_shape) print(f"输出尺寸：{img_padded.shape}") if bgr2rgb: img_padded = img_padded[..., ::-1] #.transpose(2, 0, 1) # img_padded = img_padded.transpose((2, 0, 1))[::-1] # HWC to CHW, BGR to RGB img_padded = np.ascontiguousarray(img_padded).astype(data_type) img_padded /= 255 # 0 - 255 to 0.0 - 1.0 # img_padded = (img_padded - 127.5) / 128.0 (2)面部对齐处理按检测框裁剪面部，根据左右眼关键点计算旋转角并校正，再缩放到固定尺寸（默认160×160）。输入为原图、面部框和5个关键点；输出为对齐后面部。 def align_face(self, img, box, landmarks, output_size=160): """ :param rgb_frame: 摄像头获取RGB数据或RGB图片数据 :param boxes: 面部框 :param landmarks: 关键点【左眼、右眼、鼻尖、左嘴角、右嘴角】 :param output_size: 输出尺寸 :return face_aligned: 对齐后面部 """ # box 浮点 -> int, 使用 floor/ceil 保证至少 1 像素 x1, y1, x2, y2 = box x1 = int(np.floor(x1)) y1 = int(np.floor(y1)) x2 = int(np.ceil(x2)) y2 = int(np.ceil(y2)) # 保证最小宽高为1 if x2 <= x1: x2 = x1 + 1 if y2 <= y1: y2 = y1 + 1 # 边界限制在图像尺寸内 h, w = img.shape[:2] x1 = max(0, min(x1, w - 1)) x2 = max(1, min(x2, w)) y1 = max(0, min(y1, h - 1)) y2 = max(1, min(y2, h)) # 裁剪 face = img[y1:y2, x1:x2].copy() # 如果裁剪后仍然为 0，则跳过 if face.shape[0] == 0 or face.shape[1] == 0: print(f"[WARN] face shape zero after crop: {face.shape}, skip") return None # 关键点相对裁剪区域 left_eye = landmarks[0] - np.array([x1, y1]) right_eye = landmarks[1] - np.array([x1, y1]) # 计算旋转角 dx = right_eye[0] - left_eye[0] dy = right_eye[1] - left_eye[1] angle = np.degrees(np.arctan2(dy, dx)) # 仿射旋转 ch, cw = face.shape[:2] center = (cw // 2, ch // 2) M = cv2.getRotationMatrix2D(center, angle, 1.0) face_rotated = cv2.warpAffine(face, M, (cw, ch)) # resize 到固定大小 face_aligned = cv2.resize(face_rotated, (output_size, output_size)) return face_aligned 3)模型输出与后处理执行FaceNet推理，将输出解析为numpy数组并做L2归一化。输入为预处理后的图像batch；输出为归一化后的embedding（通常shape为 (1, 512)），用于面部比对。 def run(self, images): """ 数据集构造、模型推理、解析输出""" ret = acl.rt.set_context(self.context) check_ret("acl.rt.set_context", ret) self._gen_input_dataset(images) # 构造输入数据集 self._gen_output_dataset() # 构造输出数据集 # 模型推理, 推理完成后, 输出会放入 self.load_output_dataset ret = acl.mdl.execute(self.model_id, self.load_input_dataset, self.load_output_dataset) check_ret("acl.mdl.execute", ret) # 解析输出 result = [] output_num = acl.mdl.get_num_outputs(self.model_desc) # 根据模型信息得到模型输出个数 for i in range(output_num): buffer = acl.mdl.get_dataset_buffer(self.load_output_dataset, i) # 从输出dataset中获取buffer data = acl.get_data_buffer_addr(buffer) # 获取输出数据内存地址 size = acl.get_data_buffer_size(buffer) # 获取输出数据字节数 narray = acl.util.ptr_to_bytes(data, size) # 将指针转为字节流数据 # 根据模型输出的维度和数据类型,将字节流数据解码为numpy数组 dims, ret = acl.mdl.get_cur_output_dims(self.model_desc, i) # 得到当前输出的维度 # print(f"验证输出：{torch.norm(dims, dim=1)}") print(f"输出模型维度：{dims}") out_dim = dims['dims'] # 提取维度信息 data_type = acl.mdl.get_output_data_type(self.model_desc, i) output_nparray = np.frombuffer(narray, dtype=acl_to_numpy_dtype[data_type]).reshape(tuple(out_dim)) # 解码为numpy数组 # result.append(output_nparray) # L2 normalize norms = np.linalg.norm(output_nparray, axis=1, keepdims=True) emb = output_nparray / (norms + 1e-9) print("embedding shape:", emb.shape) print("embedding norm:", np.linalg.norm(emb, axis=1)) result.append(emb) self._destroy_dataset() return result 4)模型转换本实验不适用，无需转换。 7.项目启动与操作 1)环境部署输入如下指令进入任务目录图6：进入项目目录 2)设备功能测试输入如下指令运行程序 python main.py 图7：运行程序输出主页面如下图图8：程序主页面 (1)指纹注册与识别 (a)点击页面左侧按钮”注册指纹“，进入指纹注册页面，如下图。图9：指纹注册页面 (b)点击主页面右下角的按钮“开始注册”，输入用户名进行注册。注册页面如下图。图10：用户注册页面 (c)在指纹页按模块提示完成三次按压注册，如下图。图11：指纹注册过程页面 (d)注册成功页面显示如下图。图12：指纹注册成功页面 (e)点击页面左下角的按钮”返回主页“返回主页面，将手指放在传感器上，系统自动识别。 (2)密码注册与识别 (a)点击页面左侧按钮“注册密码”，进入密码注册页面，如下图。图13：密码注册页面 (b)按照提示通过键盘传感器输入6位密码，确认后点击页面右下角的按钮“保存密码”保存，保存成功会有弹窗提示，如下图。图14：密码注册过程页面图15：密码保存页面 (c)点击页面左下角按钮“返回主页”返回主页面，输入已注册密码，页面左侧“本次开锁方式”显示为“密码输入中”，”当前输入密码“会显示在按键键盘上输入的密码。如下图。图16：密码输入页面 (3)面部注册与识别 (a)点击主页面左侧按钮左侧“注册面部”，进入面部注册页面，如下图。图17：面部注册页面 (b)点击页面右下角的按钮“注册面部”，输入用户名进行注册。注册页面如下图。图18：面部用户注册页面 (c)接着按照提示将面部正对屏幕进行面部识别，注册成功后页面下方的“面部识别算法输出”状态栏会显示“注册成功”，如下图。图19：面部注册成功页面 (d)注册成功后点击页面左下角按钮“返回主页”返回主页面，正对摄像头进行识别。 8.项目执行结果 1)指纹注册与识别若指纹验证成功则有开锁成功的弹窗提示并有语音播报”已开锁“，主页面左侧的”当前门锁状态“显示为”开门“，”本次开锁方式“显示为”指纹“，主页面右侧的门锁状态栏显示”开门”。如下图。图20：指纹识别成功页面与此同时，步进电机会从左向右运转，模拟开锁，如下图所示。图21：步进电机运转页面（模拟开锁）开锁完成即步进电机到达右侧最大限位时后，步进电机会从右向左运转，如下图所示。图22：步进电机运转页面（模拟关锁）若指纹错误导致开锁失败，则有语音播报“密码错误”。 2)密码注册与识别若密码验证成功则有开锁成功的弹窗提示并有语音播报”已开锁“，同时主页面左侧的”当前门锁状态“显示为”开门“，”本次开锁方式“显示为”密码“，主页面右侧的门锁状态栏显示”开门”。如下图。图23：密码识别成功页面与此同时，步进电机会从左向右运转，模拟开锁，如下图所示。图24：步进电机运转页面（模拟开锁）开锁完成即步进电机到达右侧最大限位后，步进电机会从右向左运转，如下图所示。图25：步进电机运转页面（模拟关锁）若密码错误导致开锁失败，则有语音播报“密码错误”。 3)面部注册与识别若面部识别成功则有开锁成功的弹窗提示并有语音播报”已开锁“，同时主页面左侧的”当前门锁状态“显示为”开门“，”本次开锁方式“显示为”面部“，主页面右侧的门锁状态栏显示”开门”，主页面下方的“面部识别算法输出”状态栏会显示“识别成功”并输出对应的用户名。如下图。图26：面部识别成功页面与此同时，步进电机会从左向右运转，模拟开锁，如下图所示。图27：步进电机运转页面（模拟开锁）开锁完成即步进电机到达右侧最大限位时后，步进电机会从右向左运转，如下图所示。图28：步进电机运转页面（模拟关锁） 9.拓展 1)除步进电机“向右开锁、到达右限位后再向左关锁”的控制方式外，是否还有其他门锁驱动或行程控制方案？参考答案：还可以用直流电机或继电器实现。 (1)通过改变直流电机供电极性控制正反转：正转开锁、反转关锁。 (2)通过控制继电器的电磁铁通断电：通电时开锁，断电后关锁。相比步进电机，直流电机和继电器结构更简单、成本更低，但若无限位或定时保护，容易过转卡死。