在2024年9月21号，作为华为学生布道师受邀参加了华为全连接大会，并且在布道师的专属展区中进行项目的宣传和展示。
我们带来的是基于华为昇腾算力+昇思MindSpore框架的，纺织品缺陷异常检测。我们整个解决方案如下所示：
首先使用香橙派AI pro连接高清摄像头实时获取图片。在边缘计算方面，香橙派AI pro上运行着基于Mean-teacher模型，Mindspore框架，利用CANN架构的异常检测算法，初筛出异常图片；使用http/ https协议上传异常图片到华为云对象存储服务OBS中；使用华为sdk与API能够方便地对异常图片进行控制与管理。在云端计算方面，我们使用了华为云弹性计算服务ECS通过denoise student teacher segementation 模型对obs中的异常图片进行二次检测并分割；并将结果通过django后端传输到web前端页面进行展示；Web前端使用HTTP、CSS和Java Script技术，通过发送http请求获得处理结果，使用Websocket技术实时获取监控视频流。
在感知层，orangepi摄像头通过usb3.0连接香橙派AI pro，这一层主要作用是实时获取图像；控制层核心组件是香橙派AI pro，上面运行mean-teacher模型，可以对异常图片进行初步检测；传输层主要功能是实现数据的传输和通信，通过http和https协议以及websocket技术实现；云服务端主要有以下组件组成：第一个是华为云obs，通过API和sdk实现对边缘设备上的异常图片进行存储；第二个是华为云ecs，上面部署这django后端框架，运行着destseg模型，通过此模型我们可以对异常区域进行精确划分；最后是Web前端，通过发送http请求给django后端获得数据，同时通过websocket技术实时获取监控视频流。
整体由传送带监控摄像头、香橙派AIpro、传送带、补光灯、影像获取硬件以及监控电脑组成，构建香橙派边端算力与华为云云端平台的结合，实现了云端协同一体化平台。
第一，基于mean teacher架构的反向知识蒸馏模型。首先基于mean teacher架构，如左图所示，Teacher模型是深层网络，Student模型是浅层网络，teacher模型通过训练将知识传输给学生模型，使学生模型在较小规模下训练出较好的效果。其次，引入了新颖的反向知识蒸馏，增强了教师学生模型对异常特征的表示差异。最后引入了多尺度隐藏特征相似度使用了多尺度热图信息。
第二点，基于denoise student teacher segementation模型的深度缺陷检测。首先引入去噪学生网络，通过去噪获得对正常图像的特征表示。其次，引入合成异常掩码训练分割网络。通过合成异常源码训练模型，模型能自适应地融合多级特征相似性，从而对异常区域进行精确的分割。最后是端到端生成像素及异常图，可以计算相应的图像及异常分数，从而提高模型的精度。
这次的项目展示也是五个项目当中唯一一个使用昇腾+昇思一体化架构的项目，希望后续我们团队的更多项目能够带给大家。欢迎大家加入华为布道师大家庭，成为优秀的昇腾开发者！
点赞
收藏
回复
分享
举报
在2024年9月21号，作为华为学生布道师受邀参加了华为全连接大会，并且在布道师的专属展区中进行项目的宣传和展示。
我们带来的是基于华为昇腾算力+昇思MindSpore框架的，纺织品缺陷异常检测。我们整个解决方案如下所示：
首先使用香橙派AI pro连接高清摄像头实时获取图片。在边缘计算方面，香橙派AI pro上运行着基于Mean-teacher模型，Mindspore框架，利用CANN架构的异常检测算法，初筛出异常图片；使用http/ https协议上传异常图片到华为云对象存储服务OBS中；使用华为sdk与API能够方便地对异常图片进行控制与管理。在云端计算方面，我们使用了华为云弹性计算服务ECS通过denoise student teacher segementation 模型对obs中的异常图片进行二次检测并分割；并将结果通过django后端传输到web前端页面进行展示；Web前端使用HTTP、CSS和Java Script技术，通过发送http请求获得处理结果，使用Websocket技术实时获取监控视频流。
在感知层，orangepi摄像头通过usb3.0连接香橙派AI pro，这一层主要作用是实时获取图像；控制层核心组件是香橙派AI pro，上面运行mean-teacher模型，可以对异常图片进行初步检测；传输层主要功能是实现数据的传输和通信，通过http和https协议以及websocket技术实现；云服务端主要有以下组件组成：第一个是华为云obs，通过API和sdk实现对边缘设备上的异常图片进行存储；第二个是华为云ecs，上面部署这django后端框架，运行着destseg模型，通过此模型我们可以对异常区域进行精确划分；最后是Web前端，通过发送http请求给django后端获得数据，同时通过websocket技术实时获取监控视频流。
整体由传送带监控摄像头、香橙派AIpro、传送带、补光灯、影像获取硬件以及监控电脑组成，构建香橙派边端算力与华为云云端平台的结合，实现了云端协同一体化平台。
第一，基于mean teacher架构的反向知识蒸馏模型。首先基于mean teacher架构，如左图所示，Teacher模型是深层网络，Student模型是浅层网络，teacher模型通过训练将知识传输给学生模型，使学生模型在较小规模下训练出较好的效果。其次，引入了新颖的反向知识蒸馏，增强了教师学生模型对异常特征的表示差异。最后引入了多尺度隐藏特征相似度使用了多尺度热图信息。
第二点，基于denoise student teacher segementation模型的深度缺陷检测。首先引入去噪学生网络，通过去噪获得对正常图像的特征表示。其次，引入合成异常掩码训练分割网络。通过合成异常源码训练模型，模型能自适应地融合多级特征相似性，从而对异常区域进行精确的分割。最后是端到端生成像素及异常图，可以计算相应的图像及异常分数，从而提高模型的精度。
这次的项目展示也是五个项目当中唯一一个使用昇腾+昇思一体化架构的项目，希望后续我们团队的更多项目能够带给大家。欢迎大家加入华为布道师大家庭，成为优秀的昇腾开发者！
