batch级随机种子,topk的logprobs Exponential取样
对于词表概率的每一个batch使用不同的topk进行截取,再对截取后的词表概率的每个batch使用不同的随机种子进行topp的exponential取样。
使用的参数
topkToppSamplingType = BATCH_TOPK_EXPONENTIAL_LOGPROBS_SAMPLING、logProbsSize
流程图
图1 batch级随机种子topk的logprobs Exponential取样流程图


父主题: 功能列表