多机混部

场景介绍

单个模型权重过大，单台推理机显存有限，无法容纳整个模型权重参数时，用户可以使用多机PD混合部署的方式部署推理服务。

安装部署

请参考《MindIE安装指南》中的“安装MindIE”章节，进行环境的安装与部署。

请参考《MindIE安装指南》中的“配置MindIE > 配置Server > 多机推理”章节，进行配置。