并行解码特性介绍

在LLM的推理场景中，传统的Auto-Regressive Decoding慢，是因为step-by-step导致了并发性不够。推理阶段属于内存带宽受限而计算资源过剩的阶段。因此，并行解码特性就是采用处理器中常用的“Speculative Execution”优化技术，通过额外的计算资源完成推测执行，提升并发性。但是，由于开启并行解码会使用Prompt输入维护前缀树和草稿token map，所以会对首Token时延有一定影响。

并行解码的优势：

针对足够长度的输入输出或代码生成等场景的小batch推理，并行解码特性可利用算力优势弥补访存带宽受限的影响，提升算力利用率。同时因为通过验证token的比率会直接影响到并行解码的收益，因此贪婪场景更能充分发挥并行解码的效果，而采样或惩罚类操作会影响并行解码的收益空间。

为了发挥并行解码的优势，需满足如下前提：

  1. 当前的并发数不高，属于内存带宽受限、计算资源有冗余的情况。
  2. 有较长的输入作为猜测token的初步来源。
  3. 并行解码主要通过减少推理步数获取增益，因此需要一定长度的输出才有性能提升效果。

目前支持两种并行解码算法，差异主要在于候选token生成的方式不同。如表1所示。

表1 并行解码算法

并行解码算法

候选token生成方式

适用场景

memory_decoding

利用trie-tree（前缀树）缓存模型历史的输入输出，从中获取候选token。

代码生成或检索类场景。

lookahead

基于jacobi迭代并辅以Prompt以及输出结果生成候选token。

文本生成、对话系统及多样化查询回答。

限制与约束

开启并行解码特性，需要配置的参数如表2~表6所示：

表2 memory_decoding补充参数1：ModelDeployConfig中的ModelConfig参数

配置项

取值类型

取值范围

配置说明

plugin_params

std::string

plugin_type：memory_decoding

decoding_length：[1, 16]

dynamic_algo：true或false
  • plugin_type配置memory_decoding，表示当前选择memory_decoding并行解码。
  • decoding_length为memory_decoding算法中的参数，表示候选token的最大长度，默认值16。
  • dynamic_algo为可选参数，配为true时表示开启动态自适应候选长度功能，默认值False。
  • 配置示例：

    {\"plugin_type\":\"memory_decoding\",\"decoding_length\": 16,\"dynamic_algo\": true}

    或

    {\"plugin_type\":\"memory_decoding\",\"decoding_length\": 16}
表3 memory_decoding补充参数2：ModelDeployConfig的参数

配置项

取值类型

取值范围

配置说明

speculationGamma

uint32_t

与plugin参数配置有关

memory_decoding时，该值配置应大于等于decoding_length。

建议值：等于decoding_length。
表4 memory_decoding补充参数3：ScheduleConfig的参数

配置项

取值类型

取值范围

配置说明

maxIterTimes

uint32_t

与plugin参数配置有关

如果dynamic_algo为true，该值需大于等于期望输出的长度+speculationGamma的值。

例：期望最大输出长度为512，则该值需要配置>=512+speculationGamma。
表5 lookahead补充参数1：ModelDeployConfig中的ModelConfig参数

配置项

取值类型

取值范围

配置说明

plugin_params

std::string

plugin_type：la

level ：[3, 16]

window ：[1, 16]

guess_set_size ：[1, 16]

plugin_type配置la，表示当前选择lookahead并行解码。

level/window/guess_set_size为lookahead算法中的N/W/G参数，默认值为4/5/5，且每个参数可配置的上限不超过16。

配置示例：

"{\"plugin_type\":\"la\",\"level\": 4,\"window\": 5,\"guess_set_size\": 5}"
表6 lookahead补充参数2：ModelDeployConfig的参数

配置项

取值类型

取值范围

配置说明

speculationGamma

uint32_t

与plugin参数配置有关

lookahead中，配置值应大于等于(N-1)*(W+G)

建议值：等于(N-1)*(W+G)。

使用样例

memory_decoding算法的并行解码配置样例：
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
"ModelDeployConfig" :
{
    "maxSeqLen" : 2560,
    "maxInputTokenLen" : 2048,
    "truncation" : false,
    "speculationGamma": 16,
    "ModelConfig" : [
        {
            "plugin_params":" {\"plugin_type\":\"memory_decoding\",\"decoding_length\":16,\"dynamic_algo\":true}"
            "modelInstanceType" : "Standard",
            "modelName" : "Codellama-34B",
            "modelWeightPath" : "/data/weights/Codellama-34B",
            "worldSize" : 4,
            "cpuMemSize" : 5,
            "npuMemSize" : -1,
            "backendType" : "atb",
            "trustRemoteCode" : false
        }
    ]
}

lookahead算法的并行解码配置样例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
"ModelDeployConfig" :
{
    "maxSeqLen" : 2560,
    "maxInputTokenLen" : 2048,
    "truncation" : false,
    "speculationGamma": 30,
    "ModelConfig" : [
        {
            "plugin_params":"{\"plugin_type\":\"la\",\"level\":4,\"window\":5,\"guess_set_size\":5}"，
            "modelInstanceType" : "Standard",
            "modelName" : "Qwen2.5-7B-Instruct",
            "modelWeightPath" : "/data/weights/Qwen2.5-7B-Instruct",
            "worldSize" : 1,
            "cpuMemSize" : 5,
            "npuMemSize" : -1,
            "backendType" : "atb",
            "trustRemoteCode" : false
        }
    ]
}

执行推理

  1. 配置服务化参数。该特性需配合MindIE Service使用，按照表2~表6在服务化的config.json文件中添加相应参数，config.json文件路径的详细说明请参考《MindIE安装指南》中的“配置MindIE > 配置MindIE Server > 单机推理”章节中的软件包文件清单。
  2. 启动服务。启动服务方法具体请参考《MindIE Service开发指南》中的“快速开始 > 启动服务”章节。
父主题： 特性介绍