[object Object]

Context Parallel（CP，上下文并行）主要针对Self-attention模块在sequence维度进行并行计算。CP通过将长序列在上下文维度进行切分，分配到不同设备并行处理，减少首token响应时间。CP实现主要包括：

1. 各个设备计算各自的attention，设备之间用ring的方式传递KV值来获得分块运算的结果，整体原理类似ring-attention。
2. 用Flash-attention 2算法进行分块运算， 最后对分块结果进行修正。

[object Object]

• Atlas 800I A2 推理服务器和Atlas 800I A3 超节点服务器支持此特性。

• 当前仅DeepSeek-R1的W8A8量化模型、DeepSeek-R1的W4A8量化模型、 DeepSeek-V3的W4A8量化模型和DeepSeek-V3.1的W4A8量化模型支持此特性。

• 当前不支持CP单独开启，开启CP需要同时开启SP。

• 支持PD分离场景和PD混部场景。

• PD混部场景时：

  • 该特性可以和SP(sequence parallel)、TP(tensor parallel)同时使用。开启CP特性时，DP(data parallel)必须等于1，SP必须等于TP，且CP、DP和TP的乘积等于Worldsize。
  • 该特性支持与MTP=1、异步调度、Prefix Cache特性叠加使用。

• PD分离场景时：

  • 仅支持在P节点开启CP特性，该特性可以和SP、TP、MTP同时使用。开启CP特性时，DP必须等于1，SP必须等于TP，且CP、DP和TP的乘积等于Worldsize。
  • 该特性支持与MTP、异步调度、Prefix Cache特性叠加使用。

• 该特性不支持BF16。

[object Object]

开启CP特性，需要配置的服务化参数如。

表 1 补充参数：ModelDeployConfig中的ModelConfig参数 [object Object][object Object]

[object Object]undefined[object Object]

1. 打开Server的config.json文件。

   • whl包安装方式：

     [object Object]

   • run包安装方式：

     [object Object]

2. 配置服务化参数。在Server的config.json文件添加“cp“字段（以下加粗部分），参数字段解释请参见。服务化参数说明请参见章节，参数配置示例如下。

   [object Object]

3. 启动服务。

• whl包安装方式：

  [object Object]

• run包安装方式：

  [object Object]