batch级别随机种子、topk的logprobs multinomial取样
对于词表概率的每一个batch使用不同的topk进行截取，再对截取后的词表概率的每个batch使用不同的随机种子进行topp的multinomial取样。
使用的参数
topkToppSamplingType = BATCH_TOPK_MULTINOMIAL_LOGPROBS_SAMPLING、logProbsSize
流程图
图1 batch级别随机种子topk的 logprobs multinomial取样流程图
父主题： 功能列表