---
title: 并行解码
description: "在传统的推理过程中，需要逐个token的进行串行解码，导致时间消耗与生成的token数量成正比，这个缺点在实施逐步解码的情况下尤为明显，为了增强这个过程，引入了lookahead。在decode阶段从n-gram中获取多个候选Token，进行并行解码，提升模型的推理速度。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/ascendtb/ascendtb_01_0206.html
sourcePath: /source/zh/canncommercial/900/API/ascendtb/ascendtb_01_0206.html
indexId: 5b16a2e9c250eda0673a78b2a9de273dbddbf25ff10c72789e3eecf72d13a2fb64
---
# 并行解码

#### 功能说明

在传统的推理过程中，需要逐个token的进行串行解码，导致时间消耗与生成的token数量成正比，这个缺点在实施逐步解码的情况下尤为明显，为了增强这个过程，引入了lookahead。在decode阶段从n-gram中获取多个候选Token，进行并行解码，提升模型的推理速度。


#### 开启方式

额外传入qSeqLens作为输入tensor，变量“calcType”置为CALC_TYPE_SPEC。

- Atlas A2 训练系列产品 / Atlas A2 推理系列产品和Atlas A3 推理系列产品 / Atlas A3 训练系列产品：变量“maskType”置为MASK_TYPE_NORM或MASK_TYPE_SPEC。
- Atlas 推理系列产品：变量“maskType”置为UNDEFINED或MASK_TYPE_SPEC。


#### 约束说明

无