UnpadOperation（代码开放）

产品支持情况

功能

对于输入input_ids，把所有有效的token拼接在一起，并在最后补0。

使用场景

为了保证[batch,max_seq_len]的二维shape,某些batch的真实句子长度会被扩展成max_seq_len的长度，此算子目的为去除这些padding的部分。

使用示例：

假设有以下输入：

• input_ids：[[1, 2, 3, 0, 0], [4, 5, 0, 0, 0]]
• cum_offsets_now：[[2], [5]]
• seq_len：[[3], [2]]

在这个例子中：

• 第一个 batch 有 2 个填充 0，因此 cum_offsets_now 的第一个值是 2。
• 第二个 batch 有 5 个填充 0（包括第一个 batch 的 2 个填充 0），因此 cum_offsets_now 的第二个值是 5。

通过 unpad 算子处理后：

1. 计算 cum_offsets_out：

   去除最后一个 batch 的数值：[[2]]

   整体后移一个 batch：[[0], [2]]

   第一个 batch 的值置为 0：[[0], [2]]（cum_offsets_out的值）

2. 移除填充 0：
   • 对于第一个 batch：
     • cum_offsets_out[0] 是 0，表示从位置 0 开始。
     • seq_len[0] 是 3，表示有 3 个有效 token。
     • 将 input_ids[0] 中的前 3 个有效 token 复制到 x_remove_padding 的前 3 个位置。
   • 对于第二个 batch：
     • cum_offsets_out[1] 是 2，表示从位置 2 开始。
     • seq_len[1] 是 2，表示有 2 个有效 token。
     • 将 input_ids[1] 中的前 2 个有效 token 复制到 x_remove_padding 的第 3 和第 4 个位置。
     • 根据 cum_offsets_out 和 seq_len，重新排列有效 token，得到 x_remove_padding：[1, 2, 3, 4, 5, 0, 0, 0, 0, 0]。

应用场景：

在自然语言处理（NLP）中，输入的句子长度通常不同。为了让它们在一个 batch 中处理，我们需要将它们填充（pad）到相同的长度。填充的方式通常是在句子的末尾添加零（0），直到所有句子长度相同。Unpad 用于在处理完这些填充的序列后，去除填充的 0，提取有效的 token 序列。

定义

1
2
3

struct UnpadParam {
    uint8_t rsv[8] = {0};
};

参数列表

输入

输出