batch级别随机种子、topk的logprobs multinomial取样

对于词表概率的每一个batch使用不同的topk进行截取,再对截取后的词表概率的每个batch使用不同的随机种子进行topp的multinomial取样

使用的参数

topkToppSamplingType = BATCH_TOPK_MULTINOMIAL_LOGPROBS_SAMPLING、logProbsSize

流程图

图1 batch级别随机种子topk的 logprobs multinomial取样流程图