【求助】如何静态图模式网络模型中,对二维Tensor进行按行去重
收藏回复举报
【求助】如何静态图模式网络模型中,对二维Tensor进行按行去重
t('forum.solved') 已解决
发表于2024-04-17 17:16:40
0 查看

使用mindspore进行seq2seq模型推理,权重由pytorch模型迁移而来

进行beam选取时,期望将已推理结束的seq进行存储,待已推理结束seq达到beam_size数量,按照tokens平均得分进行top选择

遇到问题:每次推理时按照beam_size行进行推理,生成下一个tokens,但是无法保证推理时的tokens是不重复的,需要再推理后进行去重操作

详细步骤:

beam_size个seq输入Transformers decoder层进行推理,按行选择top beam_size+1 个最优概率token,共计得到 beam_size * (beam_size + 1) 个seq

去除重复的tokens,保留不重复tokens (>=beam_size),再次进行下个token的推理

我要发帖子