UnpadWithHiddenStateOperation

功能

在llama的微调场景中的unpad方案调用算子，Unpad Transformer的encoder过程中，序列长度不再按照最大长度计算，根据实际的长度进行计算（向上pad到16倍数），减少计算量。

定义

struct UnpadWithHiddenStateParam {
    std::vector<int32_t> qSeqLen;
    int32_t              maxSeqLen;

    bool operator==(const UnpadWithHiddenStateParam &other) const
    {
        return this->qSeqLen == other.qSeqLen &&
            this->maxSeqLen == other.maxSeqLen;
    }
};

成员

成员名称	描述
qSeqLen	每个batch实际seqlen的值。
maxSeqLen	最大seqLen值。

输入

参数	维度	数据类型	格式	描述
x	[batchSize, maxSeqLen, hiddenSize]	float16	ND	unpad前，带冗余的tensor，与pad输出shape一致。

输出

参数	维度	数据类型	格式	描述
output	[nTokens, hiddenSize]	float16	ND	unpad后，不带冗余的tensor，与pad输入shape一致。

参数

维度

数据类型

格式

描述

output

[nTokens, hiddenSize]

float16

unpad后，不带冗余的tensor，与pad输入shape一致。

父主题： atb/train_op_params.h