非batch级随机种子、topk取样

使用单一的randSeed和topk,对输入的词表概率的所有batch使用统一的topk值进行截取,再对截取后的词表概率的所有batch使用统一的randSeed进行topp取样。

使用的参数

topkToppSamplingType = SINGLE_TOPK_SAMPLING、topk、randSeed

流程图

图1 非batch级随机种子topk取样流程图