[object Object]

MoE类模型支持Expert Parallel（EP，专家并行），通过将专家分别部署在不同的设备上，实现专家级别的并行计算。

当前实现两种形式的EP并行：

1. 基于AllGather通信的EP并行，即"ep_level": 1

2. 基于AllToAll和通算融合的EP并行，即"ep_level": 2

[object Object]

• DeepSeek-V2，DeepSeek-V3，DeepSeek-R1模型支持对接此特性。
• 当专家并行数超过32时，DeepSeek-V3、DeepSeek-R1自动使能Grouped MatMul融合算子，提升计算性能。

[object Object]

开启Expert Parallel特性，需要配置的服务化参数如所示。

表 1 Expert Parallel特性补充参数：ModelConfig中的models参数 [object Object][object Object]

[object Object]undefined[object Object]

“ep_level”=“2”时，使用样例：

[object Object]

“ep_level”=“1”时，长序列场景使用样例：

[object Object]

1. 配置服务化参数。该特性需配合MindIE Motor使用，按照在服务化的config.json文件中添加相应参数。服务化参数说明请参见章节。
2. 启动服务。具体请参考《MindIE Motor开发指南》中的“快速入门 > ”章节。