使用mindspore进行seq2seq模型推理,权重由pytorch模型迁移而来
进行beam选取时,期望将已推理结束的seq进行存储,待已推理结束seq达到beam_size数量,按照tokens平均得分进行top选择
遇到问题:每次推理时按照beam_size行进行推理,生成下一个tokens,但是无法保证推理时的tokens是不重复的,需要再推理后进行去重操作
详细步骤:
beam_size个seq输入Transformers decoder层进行推理,按行选择top beam_size+1 个最优概率token,共计得到 beam_size * (beam_size + 1) 个seq
去除重复的tokens,保留不重复tokens (>=beam_size),再次进行下个token的推理
使用mindspore进行seq2seq模型推理,权重由pytorch模型迁移而来
进行beam选取时,期望将已推理结束的seq进行存储,待已推理结束seq达到beam_size数量,按照tokens平均得分进行top选择
遇到问题:每次推理时按照beam_size行进行推理,生成下一个tokens,但是无法保证推理时的tokens是不重复的,需要再推理后进行去重操作
详细步骤:
beam_size个seq输入Transformers decoder层进行推理,按行选择top beam_size+1 个最优概率token,共计得到 beam_size * (beam_size + 1) 个seq
去除重复的tokens,保留不重复tokens (>=beam_size),再次进行下个token的推理