精品案例8 智慧工厂一、精品案例简介 ●理解系统的分层架构：main.py界面调度→配置模块→设备模块→检测模块。 ●在昇腾NPU上加载离线模型完成推理，经后处理与标签映射后输出检测结果。 ●根据检测结果驱动传送带启停和机械臂动作。 ●支持搬运、分拣、瑕疵三种模式的切换与独立测试。二、精品案例 1.准备硬件 1)AI计算平台：Ascend 310 2)传感器：2D摄像头，3D摄像头 3)执行器：传送带 4)物料：雪碧、可乐物块 2.准备软件在启智01开发板中需要安装软件依赖PySide6、PyYAML、opencv、numpy、pyserial、pytorch、ACL、torchvision。 3.下载源代码链接（点击“链接”即可下载源代码压缩包）打开终端窗口，输入ls命令并按回车，查看AIExperimentalKit文件夹是否存在。如果AIExperimentalKit文件夹不存在，输入以下命令，创建AIExperimentalKit文件夹。 mkdir AIExperimentalKit 下载前课程的源代码，解压后复制conveyorbelt文件夹到/home/HwHiAiUser/AIExperimentalKit目录下。检测项目的部署环境 1）验证CANN与NPU 输入如下指令进入人工智能实验箱目录 cd /home/HwHiAiUser/AIExperimentalKit/ 图1：进入项目目录输入如下指令验证CANN与NPU source /usr/local/Ascend/ascend-toolkit/set_env.sh npu-smi info python -c "import acl; print('acl 导入成功')" 图2：输出NPU信息和ACL验证如图所示npu-smi info显示了NPU设备信息；“acl导入成功”表明acl 可正常导入。 2）验证Python依赖输入如下指令进入任务目录 cd conveyorbelt 图3：进入项目目录输入如下指令验证Python依赖 python -c "import PySide6, yaml, cv2, numpy, serial,torch, torchvision; print('依赖正常')" 图4：验证Python依赖 3）验证检测模型文件输入如下指令验证检测模型文件 ls -lh models/ 图5：进入项目目录验证模型文件存在如图所示存在.om模型文件即为验证成功。 4.目标检测技术原理目标检测‌是计算机视觉领域的核心任务之一，旨在识别图像或视频中的特定目标并确定其位置。该技术不仅要求判断图像中是否存在所需物体（分类），还需给出每个目标相对精确的位置坐标（定位），广泛应用于自动驾驶、安防检测及医疗影像分析等场景。目标检测的工作流程通常包含候选区域生成、特征提取、分类与定位回归以及结果筛选四个关键步骤，旨在解决物体尺度变化、姿态不定及背景干扰等挑战。‌‌‌ ‌候选区域生成‌：算法首先通过滑动窗口或选择性搜索（Selective Search）等技术，在图像中生成可能包含目标物体的候选区域（Region Proposals），以减少计算量并提高召回率。 ‌特征提取与分类定位‌：利用卷积神经网络（CNN）对候选区域进行特征提取，深度学习模型能够自动学习高层语义特征，随后通过全连接层或卷积层输出物体的类别概率及边界框坐标。 ‌结果筛选优化‌：由于检测过程中会产生大量重叠的候选框，通常采用非极大值抑制（NMS）技术筛选出置信度最高且重叠度低的检测结果，确保输出的准确性与高效性实现方式：yolo在目标检测任务中，使用YOLO（You Only Look Once）是一种流行的选择。YOLO是一种快速、准确的实时对象检测系统，它能够将目标检测、分类和定位整合到一个单一的神经网络中。YOLO的基本原理 ‌单一网络结构‌：YOLO使用一个单一的网络来进行目标检测。这个网络可以同时预测边界框（bounding boxes）和类别概率。 ‌锚框（Anchor Boxes）‌：YOLO使用锚框来预测边界框的位置和大小。在YOLOv3和YOLOv4中，每个网格单元（grid cell）预测多个锚框，每个锚框都包含类别概率和边界框的调整参数。 ‌特征提取‌：网络的前端部分（通常是Darknet-53或更轻量级的backbone）负责提取图像特征。这些特征用于后续的定位和分类。 ‌非极大值抑制（Non-Maximum Suppression, NMS）‌：在得到所有预测的边界框后，使用NMS来消除重复的边界框，只保留最可能的边界框。 5.实验原理 1)3D摄像头访问技术原理：深度数据是距离数据，深度摄像头通过特定技术手段获取目标物体的深度信息（即距离），核心输出为‌深度图‌，主要技术原理分为结构光、飞行时间（ToF）和双目立体视觉三类。访问方法：通过SDK访问，SDK下载、安装。参考资料见官方链接https://www.orbbec.com.cn/index/Download2025/info.html?cate=121&id=1 SDK编程：见官方链接：https://gitee.com/orbbecdeveloper/OrbbecSDK 2)目标检测技术原理：使用yolo实现目标检测与定位。 3)Lableme标注原理：Labelme是一款强大的图像多边形标注工具，支持多边形、矩形、圆形、线条、点等多种标注形状，广泛应用于计算机视觉和机器学习领域的数据集制作。标签与目标框介绍标注与数据集： (1)导入图像‌：点击 ‌“Open Dir”‌ 打开包含图像的文件夹（支持批量标注）。或点击 ‌“Open”‌ 选择单张图像 ‌‌。 (2)‌创建标注‌：在左侧工具栏选择标注类型（如 ‌Create Polygons‌ 多边形）。在图像上依次点击鼠标左键定义顶点，‌双击或按 Enter 键完成闭合‌。输入标签名称（如 “car”、“person”），按 Enter 确认 ‌‌。 (3)‌编辑/删除标注‌：选中已标注区域，可移动、调整顶点或按 Delete 删除。双击标签名可修改类别 ‌‌。 (4)‌保存结果‌：标注完成后点击 ‌“Save”‌，系统会生成与图像同名的 .json 文件，包含标注坐标和类别信息 ‌‌。 4)模型转换对于开源框架的网络模型（如Caffe、TensorFlow等），不能直接在昇腾AI处理器上运行推理，需要先使用ATC（Ascend Tensor Compiler）工具将开源框架的网络模型转换为适配昇腾AI处理器的离线模型（*.om文件）详见官方文档与样例：https://www.hiascend.com/document/detail/zh/Atlas200IDKA2DeveloperKit/23.0.RC2/Application%20Development%20Guide/tmuacop/tmuacop_0001.html 6.核心代码分析与模型部署本实验采用分层结构：main.py启动图形界面，按搬运、分拣、瑕疵三种模式调度整套流程；配置模块读取YAML配置文件，设备模块统一管理摄像头、机械臂、传送带和检测器；检测部分在昇腾NPU上加载离线模型完成推理，经后处理与标签映射后，驱动传送带启停和机械臂动作；模型文件、推理临时图片和分项测试脚本分别存放在对应目录中。软件结构图如下图所示。图6：软件结构图 1)核心模块与代码 (1)检测标签归纳。搬运：所有检测到的标签均参与后续流程；。分拣：仅当检出class_a或class_b时给出对应fused_label。瑕疵：defect_bad_labels（如class_a_defect、class_b_defect）中任一类出现在任一框 →defect，否则good。 def parse_two_labels( mode: str, per_box: list[list[str]], det_cfg: dict, *, box_geometries: list[tuple[float, float, float, float] | None] | None = None, ) -> TwoLabelView: """``box_geometries`` 仅保留与调用方签名兼容，判定不依赖几何。""" _ = box_geometries if mode == "defect": if not per_box: return TwoLabelView(material=None, quality="good", fused_label="good") bad_t = defect_bad_label_tokens(det_cfg) for box in per_box: if _lower_token_set(box) & bad_t: return TwoLabelView(material=None, quality="defect", fused_label="defect") return TwoLabelView(material=None, quality="good", fused_label="good") // ... existing code ... if mode == "sort": flat: list[str] = [] for box in per_box: for x in box: t = sanitize_detection_token(x).lower() if t: flat.append(t) if "class_a" in flat: return TwoLabelView(material="class_a", quality=None, fused_label="class_a") if "class_b" in flat: return TwoLabelView(material="class_b", quality=None, fused_label="class_b") return TwoLabelView(material=None, quality=None, fused_label="") fused = sanitize_detection_token(per_box[0][0]) fl = fused if fused else "good" return TwoLabelView(material=None, quality=None, fused_label=fl) (2)根据模式与标签解析机械臂 2 放置位 def _resolve_arm2_place_pose(self, poses: dict, mode: str, label: str | None): """机械臂 2 放置位：搬运双位；分拣 A/B 双位；瑕疵 good / 非 good 各自双位（若配置 _2）。""" if mode == "move": # class_b / good / class_a / block / defect 均走同一套 move_target / move_target_2 return self._resolve_move_place_pose(poses) if mode == "sort": if _label_ci_eq(label, "class_a"): return self._resolve_sort_class_a_place_pose(poses) if _label_ci_eq(label, "class_b"): return self._resolve_sort_class_b_place_pose(poses) # good、block、defect 等：无单独料箱时默认到 B 侧第一放置位 pb = coerce_pose7(poses.get("sort_class_b")) return pb if pb is not None else poses["sort_class_b"] if mode == "defect": if _label_ci_eq(label, "good"): return self._resolve_defect_good_place_pose(poses) return self._resolve_defect_bad_place_pose(poses) return self._resolve_move_place_pose(poses) 2)模型输入与前处理 (1)获取输入图像检测器的输入来自摄像头实时采集的画面。设备层将当前帧保存为临时图片，再交给检测模块读取处理，从而完成“取帧—写盘—读入”的衔接。 rgb_path = str(mode_runtime / "rgb.jpg") cv2.imwrite(rgb_path, frame) detector.config_data["detection"]["rgb_path"] = rgb_path img = cv2.imread(rgb_path) (2)Letterbox缩放与填充原始图像宽高比通常与模型固定接受的640×640图像比例不一致，因此采用letterbox方式：先等比例缩放，再在四周填充灰色边框，使图像适应模型输入尺寸，同时保留缩放比例和padding信息，供后处理坐标还原使用。 def letterbox(img, new_shape=(640, 640), color=(114, 114, 114)): shape = img.shape[:2] r = min(new_shape[0] / shape[0], new_shape[1] / shape[1]) new_unpad = int(round(shape[1] * r)), int(round(shape[0] * r)) dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1] dw, dh = dw / 2, dh / 2 if shape[::-1] != new_unpad: img = cv2.resize(img, new_unpad, interpolation=cv2.INTER_LINEAR) top, bottom = int(round(dh - 0.1)), int(round(dh + 0.1)) left, right = int(round(dw - 0.1)), int(round(dw + 0.1)) img = cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color) return img, (r, r), (dw, dh) (3)颜色转换、维度变换与归一化 letterbox完成后，图像仍为BGR、HWC格式的uint8数组。前处理将其转为RGB、CHW格式，像素值归一化到0~1，并转换为float32，以符合NPU模型输入要求。 def preprocess_img(self, img, input_shape, data_type, bgr2rgb=True): img_padded, scale_ratio, pad_size = letterbox(img, new_shape=input_shape) if bgr2rgb: img_padded = img_padded[..., ::-1].transpose(2, 0, 1) img_padded = np.ascontiguousarray(img_padded).astype(data_type) img_padded /= 255 return img_padded, scale_ratio, pad_size (4)构造batch并送入推理前处理结果为形状(3, 640, 640)的float32数组，需增加batch维变为(1, 3, 640, 640)后，再送入昇腾NPU执行推理。 img_padded, scale_ratio, pad_size = self.preprocess_img(img, input_shape, input_type) img_batch = np.expand_dims(img_padded, axis=0) output = self.detector.run([img_batch]) 3)模型输出与后处理 (1)NPU原始输出解析模型在NPU上推理完成后，输出为设备内存中的字节流。程序按模型描述信息将其解码为NumPy数组，再转为PyTorch Tensor，供后续NMS处理使用。 output = self.detector.run([img_batch]) output = torch.tensor(output[0]) (2)非极大值抑制（NMS）原始输出包含大量候选框，需经NMS筛选。程序按置信度阈值过滤低分框，再对重叠框做去重，最终得到[x1, y1, x2, y2, conf, cls_id]格式的检测结果。置信度阈值由配置文件设定，默认0.8，IoU阈值固定为 0.6。 boxout = nms(output, conf_thres=self.config_data["detection"]["conf_thres"], iou_thres=0.6) pred_all = boxout[0].numpy() (3)检测框坐标还原 NMS结果基于640×640输入尺寸，需映射回原始图像坐标。程序利用前处理保存的缩放比和padding信息，将检测框从letterbox坐标系还原到摄像头原始画面，并裁剪至图像范围内。 scale_coords(input_shape, pred_all[:, :4], img.shape, ratio_pad=(scale_ratio, pad_size)) (4)检测结果解析与可视化坐标还原后，程序遍历每个检测框，计算中心点坐标，查表得到类别名称，并按传入的label参数过滤结果。同时可在原图上绘制检测框和标签，保存为带标注的可视化图像。 center_x = int((bbox[idx][0] + bbox[idx][2]) / 2) center_y = int((bbox[idx][1] + bbox[idx][3]) / 2) class_name.append(names[int(class_id)]) confidences.append(float(bbox[idx][4])) cv2.imwrite(inter_path, output_img) return class_name, center_points, confidences (5)业务标签映射模型输出的是原始类名（如class_a、class_b_defect），需按当前工作模式映射为业务标签。搬运模式保留原始类名，分拣模式只识别class_a和class_b，瑕疵模式将正品与瑕疵分别映射为good和defect，从而决定机械臂动作。 def outcome_from_label(mode: str, label: str, det_cfg: dict) -> DetectionView: if mode == "defect": if lk in defect_bad_label_tokens(det_cfg): return DetectionView(material=None, quality="defect", fused_label="defect") if lk in defect_good_label_tokens(det_cfg): return DetectionView(material=None, quality="good", fused_label="good") if mode == "sort": if lk in ("class_a", "class_b"): return DetectionView(material=lk, quality=None, fused_label=lk) (6)封装检测结果最终结果被封装为DetectionResult结构，包含是否检测到目标、业务标签、置信度等信息，返回给流程控制器，用于驱动传送带启停和机械臂分拣动作。 view = outcome_from_label(mode, det_label, det_cfg) return DetectionResult( present=True, label=picked, score=float(det_score), material=view.material, quality=view.quality, ) 4)模型转换与部署本实验使用的检测模型为YOLO系列，训练完成后需先导出为ONNX格式，再交由昇腾ATC工具编译为.om离线模型。 (1)pt模型转换成onnx模型（pytorch环境）输入如下指令激活pytorch环境 conda activate Pytorch 图7：激活pytorch环境输入如下指令进入项目目录 cd /home/bjjc/bjjc/jiechuang/yolov5/yolov5-7.0/ 图8：进入项目目录在该任务目录下，执行以下模型转换指令 python export.py --weights ./runs/train/AI_box_Conveyor_yolov5s_20260521_100/weights/best.pt --include onnx 图9：模型转换指令转换后的模型保存在yolov5/yolov5-7.0/runs/train/AI_box_Conveyor_yolov5s_20260521_100/weights/下（best.onnx）。 (2)onnx模型转换成om模型（myATC环境）输入以下指令进入项目目录 cd /home/bjjc/bjjc/jiechuang/yolov5/yolov5-7.0/runs/train/AI_box_Conveyor_yolov5s_20260521_100/weights/ 图10：进入项目目录在该项目目录下，执行以下指令 atc --input_shape="images:1,3,640,640" --input_format=NCHW --output="./yolov5_20260521_100" --soc_version=Ascend310B1 --framework=5 --model="best.onnx" 图11：执行模型转换命令转换后的om模型存储在yolov5/yolov5-7.0/runs/train/AI_box_Conveyor_yolov5s_20260521_100/weights目录下（yolov5_20260521_100.om），将其拷贝至工程models/目录即可。 (3)模型配置与部署 .om模型部署到工程后，需在配置文件中指定模型路径和类别信息。三种工作模式可共用同一模型文件，类别定义如下： models: move: path: models/AI_box_Conveyor_20260521_100.om nc: 5 classes: - class_b - class_b_defect - class_a - class_a_defect - block sort: path: models/AI_box_Conveyor_20260521_100.om nc: 5 classes: *id001 defect: path: models/AI_box_Conveyor_20260521_100.om nc: 5 classes: *id001 程序启动时会自动将相对路径解析为绝对路径，并在加载前校验模型文件是否存在且大小正常。 _assert_om_model_file(model_path) ex = AclModelExecutor(model_path) 7.项目启动与操作 1)进入项目目录输入如下指令进入项目目录 cd /home/HwHiAiUser/AIExperimentalKit/conveyorbelt 结果如下图：图12：进入项目目录 2)位姿标定摆好机械臂姿态后，关其它程序，在目录 /home/HwHiAiUser/AIExperimentalKit/conveyorbelt/ 下执行如下指令采集数值：读取机械臂1当前关节角： python scripts/print_arm_pose.py --robot 1 注意：参数“1”指机械臂1；若为机械臂2采集关节角，则改为 2 运行结果如下图：图13：机械臂1的位姿 ➢机械臂1采集位姿列表如下： (1)初始姿态 robot1.home：0.0,0.0,0.0,0.0,0.0,0.0,0.0 提示：检测到文件中包含文本框不支持从线下文档转化为在线文档，请手动删除提示框后重新调整图14：机械臂1初始姿态 (2)取料区前的预备位 robot1.pickup_prep：0.0,-2.16,-71.92,92.4,102.96,-0.96,0.0 图15：机械臂1预备取料位 (3)抓取物料 robot1.pickup：0.0,-2.16,12.48,68.4, 58.8,-0.96, 0.0 图16：机械臂1取料位 (4)把物料放到传送带上的位置 robot1.place_to_belt：0.0,-90.0, -71.92, 92.4, 102.96, -0.96,350.0 图17：机械臂1置放物料位1 (5)到放置传送带的位置后向前伸一点再放，避免蹭带或放偏。 robot1.place_to_belt_forward：0.0,-90.0, -77.76, 118.56,79.92, -0.96, 0.0 图18：机械臂1置放物料位2 (6)松爪后先抬起再回 home，避免扫到传送带上的物块。 robot1.after_place_lift：0.0,-90.0, -71.92,92.4,102.96,-0.96,0.0 图19：机械臂1置放物料位3 同理读取机械臂2当前关节角： python scripts/print_arm_pose.py --robot 2 ➢机械臂2采集位姿列表如下： (1)在传送带上方的抓取预备位 robot2.pick_from_belt_prep：0.0,90.0, -71.76,104.64,81.12, -1.2,350.0 图20：机械臂2取料位1 (2)从传送带上夹取的位姿 robot2.pick_from_belt：0.0,90.0,-85.44, 68.4,95.28, -0.48,0.0 图21：机械臂2取料位2 (3)搬运模式下的第1个放置位 robot2.move_target：0.0,3.12, 24.24,77.28,29.04, 0.48, 350.0 图22：机械臂2置放物料位1 (4)搬运模式第2个放置位 robot2.move_target_2：0.0,3.12, -24.24,77.28,29.04, 0.48, 350.0 图23：机械臂2置放物料位2 (5)A 类物料第1个放置位 robot2.sort_class_a：0.0, -19.2, -23.04, 68.64, 36.24, -0.96,350.0 图24：机械臂2置放物料位1 (6)A 类物料第2个放置位 robot2.sort_class_a_2：0.0,3.12,-24.24,77.28, 29.04, 0.48,350.0 图25：机械臂2置放物料位2 (7)B 类物料第1个放置位 robot2.sort_class_b：0.0,-21.12, -18.48, 109.44, 5.76, -0.96, 350.0 图26：机械臂2置放物料位3 (8)B 类物料第2个放置位 robot2.sort_class_b_2：0.0,-2.4,-9.84,57.6, 59.28, 0.72, 350.0 图27：机械臂2置放物料位4 (9)B 类在第1个放置位松爪后的退避位 robot2.sort_class_b_retreat：0.0,-21.12,-64.56,120.0,30.72, -0.48, 0.0 图28：机械臂2置放物料位3退避位 (10) B 类在第2个放置位松爪后的退避位 robot2.sort_class_b_retreat_ 2：0.0, -1.92, -38.64, 68.64, 70.56, 0.72,0.0 图29：机械臂2置放物料位4退避位 (11)良品第1个放置位 robot2.defect_good：0.0, -19.2, -23.04, 68.64, 36.24, -0.96,350.0 图30：机械臂2置放物料位1 (12)良品第2个放置位 robot2.defect_good_2：0.0,3.12,-24.24,77.28, 29.04, 0.48,350.0 图31：机械臂2置放物料位2 (13)瑕疵品第1个放置位 robot2.defect_bad：0.0,-21.12, -18.48, 109.44, 5.76, -0.96, 350.0 图32：机械臂2置放物料位3 (14)瑕疵品第2个放置位 robot2.defect_bad_2：0.0,-2.4,-9.84,57.6, 59.28, 0.72, 350.0 图33：机械臂2置放物料位4 (15)瑕疵品在第1个放置位松爪后的退避位 robot2.defect_bad_retreat：0.0,-21.12,-64.56,120.0,30.72, -0.48, 0.0 图34：机械臂2置放物料位3退避位 (16)瑕疵品在第2个放置位松爪后的退避位 robot2.defect_bad_retreat_2：0.0, -1.92, -38.64, 68.64, 70.56, 0.72,0.0 图35：机械臂2置放物料位4退避位 3)业务运行在工程根目录输入如下指令启动程序： python3 main.py 弹出图形界面窗口如下图：图36：程序主页面上方为两路摄像头预览区域，下方为控制与状态区。主页面操作说明如下： (1)模式选择 (a)搬运：机械臂2将物料搬到固定位置。图37：搬运模式 (b)分拣：机械臂2根据类别class_a（可乐）/ class_b（雪碧）放到不同位置。图38：分拣模式 (c)瑕疵检测：根据是否检出不良类（即defect），将物料判为良品（good） / 不良（defect）并分开放置。图39：瑕疵检测模式注意：运行中不可切换模式（避免状态机与界面不一致）；需先停止再切换。 (2)成功次数成功次数为机械臂 2 完成放置的次数统计，用于实验记录。 (3)设置按钮打开设置对话框，可直接编辑检测置信度阈值，并且可以通过设置机械臂标定位姿。如下图所示。图40：设置页面 4)搬运模式运行 (1)点击搬运按钮，然后点击开始。图41：搬运模式运行页面如图所示，黄色矩形框是检测到的对象，具体位置按照实际叠加在摄像头实时视频流上；lable是检测对象的名称，prob是检测的概率。当左摄像头实时视频检测到物品存在时，视觉检测算法开始对视频做分析，分析的结果显示效果如上。检测结果会更新框、label、prob的内容。搬运模式可搬运五类物料，具体类别如下：可乐瑕疵品（class_a_defect）图42：可乐瑕疵品可乐良品（class_b）图43：可乐良品雪碧瑕疵品（class_b_defect）图44：雪碧瑕疵品雪碧良品（class_b）图45：雪碧良品原始物料（block）图46：原始物料 5)分拣模式放置两类物料class_a（可乐）和class_b（雪碧），点击分拣按钮，然后点击开始。分拣可乐（class_a）运行如下图：提示：检测到文件中包含文本框不支持从线下文档转化为在线文档，请手动删除提示框后重新调整图47：分拣可乐运行页面分拣雪碧（class_b）运行如下图：图48：分拣雪碧运行页面 6)瑕疵检测模式放置四类物料良品（即class_a和class_b）与带缺陷物料（即class_a_defect和class_b_defect），点击瑕疵检测按钮，然后点击开始。四种检测结果如下图： (1)物料为可乐瑕疵品（即class_a_defect）提示：检测到文件中包含文本框不支持从线下文档转化为在线文档，请手动删除提示框后重新调整图49：瑕疵检测class_a_defect运行页面 (2)物料为雪碧瑕疵品（即class_b_defect）图50：瑕疵检测class_b_defect运行页面 (3)物料为可乐良品（即class_a）图51：瑕疵检测class_a运行页面 (4)物料为雪碧良品（即class_b）图52：瑕疵检测class_b运行页面 8.实验结果三种模式下的通用操作流程：上电 → 确认无障碍物干涉传送带与机械臂 → 启动程序 → 选模式 → 开始 → 观察 → 停止。 1)搬运模式结果图53：搬运模式结果页面搬运可放置的位置共两处，分别为搬运位1和搬运位2。完成2次搬运后物料放置如图所示。图54：完成2次搬运后物料放置位 2)分拣模式结果分拣可乐（class_a）运行如下图：图55：分拣可乐结果页面分拣可乐可放置的位置共两处，分别为分拣A位1和分拣A位2。分拣雪碧（class_b）运行如下图：图56：分拣雪碧结果页面分拣雪碧可放置的位置共两处，分别为分拣B位1和分拣B位2。可乐和雪碧各完成2次后物料放置如图所示。图57：可乐和雪碧各完成2次后物料放置位 3)瑕疵检测模式结果 (1)物料为可乐瑕疵品（即class_a_defect）图58：瑕疵检测class_a_defect结果页面 (2)物料为雪碧瑕疵品（即class_b_defect）图59：瑕疵检测class_b_defect结果页面 (3)物料为可乐良品（即class_a）图60：瑕疵检测class_a结果页面 (4)物料为雪碧良品（即class_b）图61：瑕疵检测class_b结果页面瑕疵检测为良品的可放置的位置共两处，分别为瑕疵良品位1和瑕疵良品位2。瑕疵检测为不良品的可放置的位置共两处，分别为瑕疵不良位1和瑕疵不良位2。良品与不良品各完成两次放置后物料位置如下图所示。图62：良品与不良品各完成两次后物料放置位 9.拓展 1)如何实现多品类瑕疵检测参考答案：通过一个模型同时识别多种工件及其瑕疵，并按好坏完成自动分拣。在瑕疵检测模式下，模型会把标签为class_a_defect、class_b_defect的归为瑕疵品，其余的标签（class_a、class_b、block）均归为良品，再由机械臂2放到对应位置。 2)视觉与模型的检测工具用于双摄像头取帧和YOLO检测自检，可确认相机与 .om 推理是否正常，具体指令如下： python scripts/test_cameras_detect.py 运行结果如下图：说明：“检测汇总”输出算法是否检测到物品；“当前标签”输出算法识别到的品类信息。