项目背景
传统专注度监测方案以惩罚性为主，缺乏对学生生理需求的反馈。容易引发学生的抵触情绪，削弱学生自主培养专注力的内在动力，抑制自律意识的自然养成。我们提出一种更具人文关怀的创新思路：将学生日常作息中紧密关联的”学习”、 “用餐”、”睡眠”三大场景深度融合。通过香橙派运行多模态Agent动态采集多维度参数，生成专注度分析报告和个性化食谱建议。通过科学膳食调节学生的身体状态以提升学习效能，并通过餐前餐后数据分析对比，最终实现从 “被动约束” 到 “主动优化” 的学习状态升级。 
系统功能
我们将学生日常作息中“学习”、“用餐”、“睡眠”三大主要场景深度融合。 运用香橙派，通过视频采集学生的课堂分心度数据，结合当日天气状况，学生身高、体重、睡眠情况等多维度参数，根据菜谱生成个性化食谱建议和分析报告。既能针对性展现学生课堂专注度不足的时间段，又可科学膳食调节学生身体状态，在提升学生学习效率的同时缓解当前学生普遍面临的压力问题。 
作为智慧伴学系统，其终极目标是实现一个智能桌面可交互机器人，作为学生的小助手和帮助学生衣食住行并学习的伴随伙伴，鉴于比赛时间的限制，我们小组只挑选了系统最核心的主业务工作流程在香橙派AiPro 20T上面进行了概念性的实现。
整个系统通过摄像头捕捉人脸信息，长时间持续的记录学生状态，分析该学生的学习状态尤其是专注度变化曲线，结合学生身高、体重、BMI以及睡眠时间，外加天气情况等因素，利用人工智能大语言模型进行分析并推荐菜谱，希望通过食补的方式部分改善学生的学习状态。虽然目前仅限于推荐菜单，但是后续可以延伸到其他生活学习方面的内容，甚至后续可以畅想用于医疗康复，健身健康管理等方面。整个系统未来也可以进一步支持多人识别，利用人脸识别自动记录不同人的信息，影响整个学校整个区域的饮食计划，配合国家目前推广的瘦身减肥战略计划，提升全民身体健康素质。详细随着华为昇腾计算架构能力的不断提升，将来有一天终将有能力实现整个设想。
系统架构
当前整个系统已经从初赛时候CS架构转向了决赛时候的BS架构，其变化原因在于未来的设想可以利用服务器强大的中心计算资源。香橙派的算力AIPro20T可能在边缘计算方面算力还是略显不足，最佳设想是未来可以同时利用到服务器计算资源扩展性并结合利用边缘计算的便捷性，两者形成互补性优势。本次的概念性实现都是在香橙派AIPro 20T上面集中部署及演示。
系统架构基于24GB的昇腾NPU，3CPU+1（Ai内核）的arm64硬件平台，基于定制化的ubuntu香橙派操作系统；整体运行环境基于Python3.9的华为Mindspore和CANN8.0.0框架的大语言应用。经过尝试，目前Mindnlp只能支持Qwen2.5:0.5b模型，Qwen2.5:1.5b模型重启之后勉强能跑，但是容易导致内存不足。换成Ollama的Qwen2.5:0.5b和Qwen3:0.6b也可以跑，但是速度比较慢，毕竟Ollama无法利用Mindspore的NPU进行计算，纯CPU的条件下速度偏慢，哪怕是调整到4CPU ctrl的模式也是偏慢。（限于小组知识储备的限制，还请论坛里面的各位老师提出宝贵的改善意见） 大语言模型的应用利用LangChain进行了Agent调用并生成相关结果，人脸识别使用MediaPipe，整个浏览器前段框架则使用Gradio，此外，图表框架引入了Plotly以及数据库使用了JSON结构的TinyDB。
系统开发回顾小结：
- 建立一个基于Json的TinyDB 数据库
- 运用Mediapipe获得采集的人脸信息，处理并存储
- 笔记本上用Ollama运行大模型，香橙派则中使用Mindspore和Mindnlp运行大模型
- 使用LangChain框架 构建模型逻辑链,编写相应Prompt
- 在数据库中，我们存储了菜谱信息和营养元素
- 使用Gradio和HTML快速构建可视化网页进行视频交互，推荐食谱展示和最终各类信息图表展示
- 本系统在香橙派上运行
挑选几个问题与解决方案分享
- 香橙派AIPro 20T环境下Python3.10不兼容怎么解决？
尝试升级为Python3.10下面的CANN toolkit以及Mindspore以便支持最新的Mindnlp，最终得到的结论是无法找到匹配的CANN算子，哪怕降级回Python3.9版本，还是无法从华为官方网站获取能够运行的CANN。再三证实之后，最佳解决方案只能使用香橙派官方的镜像重新烧录，官方的镜像中有能够运行的Python3.9的Mindspore版本和CANN算子。
- 怎样安装SSD？
购买256GB的SSD硬盘，通过香橙派官方手册的里面提供的信息256GB的支持可能兼容性比较好。香橙派翻过来，螺丝拧开之后就可以轻松安装硬盘。此外，还需要调整跳线，因为交大提供的机器，操作系统其实是烧录在TF卡上的，所以需要调整跳线，方法还是翻过来，其中有一个橡胶脚中间比较松软，可以用力拨开橡胶脚之后就可以看到主板上面的跳线。SSD是左左右。 
- 兼容性问题怎么解决？
为了能够在香橙派AiPro 20T上面运行Mindspore和Mindnlp，就不能破坏原有的环境，那么对应的Langchain，Mindspore，Mindnlp，Gradio，Tokenizers以及Protobuf都需要向Python3.9进行调整，记得做好备份。
- 怎样使用Gradio通过浏览器采集信息？
Gradio整合Mediapipe使用webcam通过浏览器采集人脸信息，远程访问需要Gradio开启HTTPS才行，本地单机开启通过127.0.0.1或者localhost则只需要HTTP即可。经过尝试采集速度目前是2s效果较好，毕竟考虑到是在OrangePi AiPro 20T运行CPU进行的计算的
- OrangePi AiPro 20T选择什么样的大模型运行较好？
经过尝试，Ollama arm版可以在香橙派AiPro 20T上面运行，但是运行速度不是很快。使用Mindspore框架，Qwen2.5:0.5b和Qwen2.5:1.5b都可以运行，包括deepseek-r1 1.5B也是可以运行的，考虑到执行效率项目最终选择了Qwen2.5:0.5b
- 最大的挑战是提示词
驱动LLM运行的Prompt还需要进一步改进，分享目前截止比赛结束日之前的最佳调整，请各位老师指正
MileStone
点赞
收藏
回复
分享
举报
项目背景
传统专注度监测方案以惩罚性为主，缺乏对学生生理需求的反馈。容易引发学生的抵触情绪，削弱学生自主培养专注力的内在动力，抑制自律意识的自然养成。我们提出一种更具人文关怀的创新思路：将学生日常作息中紧密关联的”学习”、 “用餐”、”睡眠”三大场景深度融合。通过香橙派运行多模态Agent动态采集多维度参数，生成专注度分析报告和个性化食谱建议。通过科学膳食调节学生的身体状态以提升学习效能，并通过餐前餐后数据分析对比，最终实现从 “被动约束” 到 “主动优化” 的学习状态升级。
系统功能
我们将学生日常作息中“学习”、“用餐”、“睡眠”三大主要场景深度融合。 运用香橙派，通过视频采集学生的课堂分心度数据，结合当日天气状况，学生身高、体重、睡眠情况等多维度参数，根据菜谱生成个性化食谱建议和分析报告。既能针对性展现学生课堂专注度不足的时间段，又可科学膳食调节学生身体状态，在提升学生学习效率的同时缓解当前学生普遍面临的压力问题。
作为智慧伴学系统，其终极目标是实现一个智能桌面可交互机器人，作为学生的小助手和帮助学生衣食住行并学习的伴随伙伴，鉴于比赛时间的限制，我们小组只挑选了系统最核心的主业务工作流程在香橙派AiPro 20T上面进行了概念性的实现。
整个系统通过摄像头捕捉人脸信息，长时间持续的记录学生状态，分析该学生的学习状态尤其是专注度变化曲线，结合学生身高、体重、BMI以及睡眠时间，外加天气情况等因素，利用人工智能大语言模型进行分析并推荐菜谱，希望通过食补的方式部分改善学生的学习状态。虽然目前仅限于推荐菜单，但是后续可以延伸到其他生活学习方面的内容，甚至后续可以畅想用于医疗康复，健身健康管理等方面。整个系统未来也可以进一步支持多人识别，利用人脸识别自动记录不同人的信息，影响整个学校整个区域的饮食计划，配合国家目前推广的瘦身减肥战略计划，提升全民身体健康素质。详细随着华为昇腾计算架构能力的不断提升，将来有一天终将有能力实现整个设想。
系统架构
当前整个系统已经从初赛时候CS架构转向了决赛时候的BS架构，其变化原因在于未来的设想可以利用服务器强大的中心计算资源。香橙派的算力AIPro20T可能在边缘计算方面算力还是略显不足，最佳设想是未来可以同时利用到服务器计算资源扩展性并结合利用边缘计算的便捷性，两者形成互补性优势。本次的概念性实现都是在香橙派AIPro 20T上面集中部署及演示。
系统架构基于24GB的昇腾NPU，3CPU+1（Ai内核）的arm64硬件平台，基于定制化的ubuntu香橙派操作系统；整体运行环境基于Python3.9的华为Mindspore和CANN8.0.0框架的大语言应用。经过尝试，目前Mindnlp只能支持Qwen2.5:0.5b模型，Qwen2.5:1.5b模型重启之后勉强能跑，但是容易导致内存不足。换成Ollama的Qwen2.5:0.5b和Qwen3:0.6b也可以跑，但是速度比较慢，毕竟Ollama无法利用Mindspore的NPU进行计算，纯CPU的条件下速度偏慢，哪怕是调整到4CPU ctrl的模式也是偏慢。（限于小组知识储备的限制，还请论坛里面的各位老师提出宝贵的改善意见） 大语言模型的应用利用LangChain进行了Agent调用并生成相关结果，人脸识别使用MediaPipe，整个浏览器前段框架则使用Gradio，此外，图表框架引入了Plotly以及数据库使用了JSON结构的TinyDB。
系统开发回顾小结：
挑选几个问题与解决方案分享
尝试升级为Python3.10下面的CANN toolkit以及Mindspore以便支持最新的Mindnlp，最终得到的结论是无法找到匹配的CANN算子，哪怕降级回Python3.9版本，还是无法从华为官方网站获取能够运行的CANN。再三证实之后，最佳解决方案只能使用香橙派官方的镜像重新烧录，官方的镜像中有能够运行的Python3.9的Mindspore版本和CANN算子。
购买256GB的SSD硬盘，通过香橙派官方手册的里面提供的信息256GB的支持可能兼容性比较好。香橙派翻过来，螺丝拧开之后就可以轻松安装硬盘。此外，还需要调整跳线，因为交大提供的机器，操作系统其实是烧录在TF卡上的，所以需要调整跳线，方法还是翻过来，其中有一个橡胶脚中间比较松软，可以用力拨开橡胶脚之后就可以看到主板上面的跳线。SSD是左左右。
为了能够在香橙派AiPro 20T上面运行Mindspore和Mindnlp，就不能破坏原有的环境，那么对应的Langchain，Mindspore，Mindnlp，Gradio，Tokenizers以及Protobuf都需要向Python3.9进行调整，记得做好备份。
Gradio整合Mediapipe使用webcam通过浏览器采集人脸信息，远程访问需要Gradio开启HTTPS才行，本地单机开启通过127.0.0.1或者localhost则只需要HTTP即可。经过尝试采集速度目前是2s效果较好，毕竟考虑到是在OrangePi AiPro 20T运行CPU进行的计算的
经过尝试，Ollama arm版可以在香橙派AiPro 20T上面运行，但是运行速度不是很快。使用Mindspore框架，Qwen2.5:0.5b和Qwen2.5:1.5b都可以运行，包括deepseek-r1 1.5B也是可以运行的，考虑到执行效率项目最终选择了Qwen2.5:0.5b
驱动LLM运行的Prompt还需要进一步改进，分享目前截止比赛结束日之前的最佳调整，请各位老师指正
prefix = f"""你是一个营养专家，为了改善这个学生的上课表现，你需要根据以下信息提供食谱建议： 1. 学生个人信息（身高、体重、睡眠时长） 2. 上海天气情况 3. 学生的专注度得分（分心情况0%-100%） 4. 要来自dish_names.json中的菜谱名称 推荐规则： - 必须选择dish_names.json中存在的菜品 - 每次推荐3道不同菜品 - 推荐理由需包含： • 天气关联建议 • 健康指标改善方案 • 营养需求匹配说明 食谱中的菜一定要根据dish_names.json中的菜名,不能使用其他菜名,应当有3道菜,并给出3点理由,说明为什么这些菜适合该学生。 安全策略： - 拒绝生成违反伦理的内容 - 只使用提供的工具获取信息 - 确保推荐的食谱适合学生的健康状况 输出格式要求： 1. 首先要根据使用StudyDataQ工具返回的结果,该结果是一个菜谱的数组,其中每个元素包含 - name 是菜名 - calories 是卡路里 - suitable_for 是该菜适合改善内容 - description 是菜谱描述 - nutrients 是营养成分 2. 根据上一步的结果，推荐其中的3道菜(名称和简短描述). 3. 然后给出3点理由,每点理由都要具体说明与上述因素的关联. 4. 最后回答格式要求参考："{sample_result}" """ suffix = """记住： - 食谱中的菜一定要使用SelectDishes工具返回的结果中的菜名,不能使用其他菜名,该结果是一个菜谱的数组,其中每个元素包含name 是菜名 - 如果用户要求获取天气,必须使用WeatherQuery工具,得到用户给定城市的天气情况，作为菜谱的参考 - 如果用户要求获取学生的专注度,必须使用StudyDataQ工具,得到用户上课的分心程度的百分比，作为菜谱的参考 - 如果用户要求获取学生的个人信息,必须使用PersonalInfo工具,得到用户的个人信息（包括身高、体重、睡眠时长）,作为最终菜谱的参考 - 如果用户要求获取菜谱,必须使用SelectDishes工具,选择菜品名称并输出 {chat_history} 问题: {input} {agent_scratchpad} 同时，你必须严格按照下面格式回答，不得省略任何一行： Thought: 你的推理 Action: 工具名 Action Input: 输入 """MileStone