昇腾MindStudio全流程工具链助力移动智能家居解决方案快速上线
发表于 2025/02/27
中国移动智慧家庭运营中心(智家中心)致力于将AI技术与家庭生活相融合,打造了“移动爱家”等AI产品,利用大模型能力,满足智能家居需求。随着国产化AI解决方案浪潮的推进,为进一步优化业务,提升模型部署性能,中国移动智家中心联合昇腾计算,借助昇腾的软硬件平台能力,打造AI智能平台。
昇腾提供 MindStudio 全流程工具链,通过系列工具能力,快速解决模型的迁移、精度性能优化、模型压缩等关键问题,提升模型精度、性能的同时,显著减少硬件资源占用,降低部署成本,大幅提升产品竞争力。
MindStudio调试调优工具,为移动智能家居解决方案快速上线保驾护航
MindStudio全流程工具链提供 msIT 推理调试调优工具和 msModelSlim 模型压缩工具,帮助智家中心解决难题,快速完成模型适配与调试调优,助力智家中心业务快速上线。但在适配过程中,遇到了以下两个难点:
难点一:模型适配兼容性与精度对齐效率不足
智家中心业务在接入昇腾平台过程中,由于底层硬件的差异,模型适配兼容性不足,精度对齐效率较低。如何快速、精准地完成模型迁移适配和精度对齐,是第一个难点。
解决方案:msIT推理调试调优工具助力模型适配与精度对齐
昇腾支撑客户使用 MindStudio 全流程工具链中的 msIT 推理调试调优工具,该工具支持将 ONNX 模型一键转换为 OM 模型,快速适配昇腾平台。同时,msIT 还提供了自动精度比对功能,只需一行命令即可确认推理精度是否对齐,帮助快速定位精度问题。结果显示,OM 模型与原模型在单对话测试中的结果一致,完美的解决了精度对齐任务。事实证明,MindStudio 全流程工具链显著提升了模型适配效率,起到至关重要的作用。
难点二:硬件资源利用率不足制约业务扩展
在实际部署中,一个产品通常需要多个模型支持运行,而单个大参数模型的部署就已占用了大量硬件资源。在算力有限的情况下,如何保证在精度达标的前提下,使用更少的资源,去完成更困难的推理任务,是第二个难点。