昇腾社区首页
中文
注册

应用场景

  • 支持MindIE Server推理服务单模型多机(即一个大模型实例分布在多个计算节点)的部署功能。
  • 支持一键自动化部署功能。
  • 支持运维管理功能。
  • 当前多机形态仅支持跨两个计算节点部署一个模型实例,且必须是Atlas 800I A2推理产品8卡服务器使用满卡(即双机16卡)进行部署。
  • 使用MindIE MS的用户是Kubernetes管理员,拥有对Kubernetes集群的所有管理权限。