功能
在llama的微调场景中的unpad方案调用算子，Unpad Transformer的encoder过程中，序列长度不再按照最大长度计算，根据实际的长度进行计算（向上pad到16倍数），减少计算量。
定义
struct UnpadWithHiddenStateParam {
std::vector<int32_t> qSeqLen;
int32_t maxSeqLen;
bool operator==(const UnpadWithHiddenStateParam &other) const
{
return this->qSeqLen == other.qSeqLen &&
this->maxSeqLen == other.maxSeqLen;
}
};
成员
成员名称 |
描述 |
|---|---|
qSeqLen |
每个batch实际seqlen的值。 |
maxSeqLen |
最大seqLen值。 |
输入
参数 |
维度 |
数据类型 |
格式 |
描述 |
|---|---|---|---|---|
x |
[batchSize, maxSeqLen, hiddenSize] |
float16 |
ND |
unpad前，带冗余的tensor，与pad输出shape一致。 |
输出
参数 |
维度 |
数据类型 |
格式 |
描述 |
|---|---|---|---|---|
output |
[nTokens, hiddenSize] |
float16 |
ND |
unpad后，不带冗余的tensor，与pad输入shape一致。
|
