MindIE使用场景

大模型服务化部署

MindIE Service

1. 环境准备：
   1. 部署Kubernetes、MindX DL。（仅集群场景使用）
   2. 部署MindIE MS。（仅集群场景使用）
   3. 部署MindIE Server。
2. 启动服务。
3. 服务调用：
   1. 使用MindIE Server推理服务。
   2. 使用MindIE Client发送请求（包括模型推理、请求管理和服务状态查询，用户调用接口即可实现与MindIE Server通信）。
   3. 使用MindIE Benchmark工具测试推理性能和精度。
4. 性能调优。

1. 环境准备：
   1. 部署Kubernetes、MindX DL
   2. 部署MindIE MS
   3. 部署MindIE Server
2. 启动服务
3. 服务调用：
   1. MindIE Server使用指导
   2. MindIE Client客户端使用说明
   3. MindIE Benchmark精度、性能测试工具使用指导
4. 性能调优指南

大模型推理迁移流程

MindIE LLM

1. 配置MindIE LLM。
2. 获取模型、权重。
3. 权重转换。（可选）
4. 权重量化。（可选）
5. 推理。

1. 配置MindIE LLM
2. ATB Models使用
3. 权重量化

传统模型推理迁移流程

• MindIE Torch
• MindIE RT

1. 导入mindietorch框架。
2. 模型导出。
3. 模型编译。
4. 模型推理。
5. 资源释放。

模型迁移快速入门