对于输入input_ids，取出每个batch最后一个有效token的embedding向量
struct PadParam {};
参数 |
维度 |
数据类型 |
格式 |
描述 |
|---|---|---|---|---|
tmp_out |
[token_num, hidden_dim] |
float16 |
ND |
每一个token对应的embedding向量 |
padding_offset |
[1, token_num] |
int32 |
ND |
同UnpadOperation输出padding_offset |
seq_len |
[batch, 1] |
int32 |
ND |
每个batch中的有效token数量 |
input_ids |
[batch, max_seq_len] |
int64 |
ND |
经过pad(末尾填充0)之后，batch个token id序列 |
参数 |
维度 |
数据类型 |
格式 |
描述 |
|---|---|---|---|---|
out |
[batch, hidden_dim] |
float16 |
ND |
取出的每个batch最后一个有效token的embedding向量 |