昇腾社区首页
中文
注册
昇腾MindStudio全流程工具链助力移动智能家居解决方案快速上线

昇腾MindStudio全流程工具链助力移动智能家居解决方案快速上线

MindStudio模型推理

发表于 2025/02/27

中国移动智慧家庭运营中心(智家中心)致力于将AI技术与家庭生活相融合,打造了“移动爱家”等AI产品,利用大模型能力,满足智能家居需求。随着国产化AI解决方案浪潮的推进,为进一步优化业务,提升模型部署性能,中国移动智家中心联合昇腾计算,借助昇腾的软硬件平台能力,打造AI智能平台。

昇腾提供 MindStudio 全流程工具链,通过系列工具能力,快速解决模型的迁移、精度性能优化、模型压缩等关键问题,提升模型精度、性能的同时,显著减少硬件资源占用,降低部署成本,大幅提升产品竞争力。

MindStudio调试调优工具,为移动智能家居解决方案快速上线保驾护航

MindStudio全流程工具链提供 msIT 推理调试调优工具和 msModelSlim 模型压缩工具,帮助智家中心解决难题,快速完成模型适配与调试调优,助力智家中心业务快速上线。但在适配过程中,遇到了以下两个难点:

难点一:模型适配兼容性与精度对齐效率不足

智家中心业务在接入昇腾平台过程中,由于底层硬件的差异,模型适配兼容性不足,精度对齐效率较低。如何快速、精准地完成模型迁移适配和精度对齐,是第一个难点。

解决方案:msIT推理调试调优工具助力模型适配与精度对齐

昇腾支撑客户使用 MindStudio 全流程工具链中的 msIT 推理调试调优工具,该工具支持将 ONNX 模型一键转换为 OM 模型,快速适配昇腾平台。同时,msIT 还提供了自动精度比对功能,只需一行命令即可确认推理精度是否对齐,帮助快速定位精度问题。结果显示,OM 模型与原模型在单对话测试中的结果一致,完美的解决了精度对齐任务。事实证明,MindStudio 全流程工具链显著提升了模型适配效率,起到至关重要的作用。

难点二:硬件资源利用率不足制约业务扩展

在实际部署中,一个产品通常需要多个模型支持运行,而单个大参数模型的部署就已占用了大量硬件资源。在算力有限的情况下,如何保证在精度达标的前提下,使用更少的资源,去完成更困难的推理任务,是第二个难点。

解决方案:msModelSlim 模型压缩工具提升资源利用率与性能

针对资源优化问题,昇腾 MindStudio 全流程工具链提供了 msModelSlim 模型压缩工具。该工具内置量化压缩算法,能够有效提升资源利用率。在使用 msModelSlim 模型压缩工具进行部署后,资源占用显著降低,一台服务器可部署两个实例(原本一台Atlas 800I A2服务器只能部署一个模型实例,导致访问量大响应速度迟钝,硬件资源利用率较低),推理吞吐量提升近一倍,性能提升了30%,大大超出了客户的预期。

昇腾MindStudio助力中国移动,让AI服务触手可及

通过一个月的调试调优,昇腾 MindStudio 全流程工具链协助中国移动完成 8 个模型的迁移适配、精度调试和性能调优,基于 K8S 集群实现了模型部署,其中两个模型已顺利上线“移动爱家”项目。

昇腾助力中国移动打造“移动爱家”智慧平台,极大地提升了每个家庭的生活品质,真正实现了让“AI”走入千家万户。

本页内容