并行解码特性介绍

在LLM的推理场景中，传统的Auto-Regressive Decoding慢，是因为step-by-step导致了并发性不够。推理阶段属于内存带宽受限而计算资源过剩的阶段。因此，并行解码特性就是采用处理器中常用的“Speculative Execution”优化技术，通过额外的计算资源完成推测执行，提升并发性。但是，由于开启并行解码会使用Prompt输入维护前缀树和草稿token map，所以会对首Token时延有一定影响。

并行解码的优势：

针对足够长度的输入输出或代码生成等场景的小batch推理，并行解码特性可利用算力优势弥补访存带宽受限的影响，提升算力利用率。同时因为通过验证token的比率会直接影响到并行解码的收益，因此贪婪场景更能充分发挥并行解码的效果，而采样或惩罚类操作会影响并行解码的收益空间。

为了发挥并行解码的优势，需满足如下前提：

当前的并发数不高，属于内存带宽受限、计算资源有冗余的情况。
有较长的输入作为猜测token的初步来源。
并行解码主要通过减少推理步数获取增益，因此需要一定长度的输出才有性能提升效果。

目前支持两种并行解码算法，差异主要在于候选token生成的方式不同。如表1所示。

表1 并行解码算法
并行解码算法	候选token生成方式	适用场景
memory_decoding	利用trie-tree（前缀树）缓存模型历史的输入输出，从中获取候选token。	代码生成或检索类场景。
lookahead	基于jacobi迭代并辅以Prompt以及输出结果生成候选token。	文本生成、对话系统及多样化查询回答。

限制与约束

Atlas 800I A2 推理服务器和Atlas 300I Duo 推理卡硬件支持此特性。
仅LLaMA3系列和Qwen2系列模型支持对接此特性。
并行解码支持的量化特性：W8A8量化与稀疏量化，其他量化特性暂不支持。
该特性不能和PD分离、Multi-LoRA、SplitFuse、Function Call、长序列以及多机推理特性同时使用。
并行解码场景暂不支持流式推理。
并行解码惩罚类后处理仅支持重复惩罚。
lookahead和memory_decoding算法不可同时使能。

开启并行解码特性，需要配置的参数如表2~表6所示：

表2 memory_decoding补充参数1：**ModelDeployConfig中的ModelConfig参数**
配置项	取值类型	取值范围	配置说明
plugin_params	std::string	plugin_type：memory_decoding decoding_length：[1, 16] dynamic_algo：true或false	plugin_type配置memory_decoding，表示当前选择memory_decoding并行解码。 decoding_length为memory_decoding算法中的参数，表示候选token的最大长度，默认值16。 dynamic_algo为可选参数，配为true时表示开启动态自适应候选长度功能，默认值False。配置示例： {\"plugin_type\":\"memory_decoding\",\"decoding_length\": 16,\"dynamic_algo\": true} 或 {\"plugin_type\":\"memory_decoding\",\"decoding_length\": 16}

表3 memory_decoding补充参数2：**ModelDeployConfig的参数**
配置项	取值类型	取值范围	配置说明
speculationGamma	uint32_t	与plugin参数配置有关	memory_decoding时，该值配置应大于等于decoding_length。建议值：等于decoding_length。

表4 memory_decoding补充参数3：**ScheduleConfig的参数**
配置项	取值类型	取值范围	配置说明
maxIterTimes	uint32_t	与plugin参数配置有关	如果dynamic_algo为true，该值需大于等于期望输出的长度+speculationGamma的值。例：期望最大输出长度为512，则该值需要配置>=512+speculationGamma。

表5 lookahead补充参数1：**ModelDeployConfig中的ModelConfig参数**
配置项	取值类型	取值范围	配置说明
plugin_params	std::string	plugin_type：la level ：[3, 16] window ：[1, 16] guess_set_size ：[1, 16]	plugin_type配置la，表示当前选择lookahead并行解码。 level/window/guess_set_size为lookahead算法中的N/W/G参数，默认值为4/5/5，且每个参数可配置的上限不超过16。配置示例： "{\"plugin_type\":\"la\",\"level\": 4,\"window\": 5,\"guess_set_size\": 5}"

表6 lookahead补充参数2：**ModelDeployConfig的参数**
配置项	取值类型	取值范围	配置说明
speculationGamma	uint32_t	与plugin参数配置有关	lookahead中，配置值应大于等于(N-1)(W+G) 建议值：等于(N-1)(W+G)。

执行推理

配置服务化参数。该特性需配合MindIE Service使用，按照表2~表6在服务化的config.json文件中添加相应参数，config.json文件路径的详细说明请参考《MindIE安装指南》中的“配置MindIE > 配置MindIE Server > 单机推理”章节中的软件包文件清单。
启动服务。启动服务方法具体请参考《MindIE Service开发指南》中的“快速开始 > 启动服务”章节。

父主题： 特性介绍