功能

依据给定的词表概率以及top-k、top-p,从词表概率中选取前k个作为候选,然后选取概率高于top-p的词表按照TopkToppSamplingType的值采取不同的后处理策略,最后选择最合适的词序号以及对应的概率作为输出。

Top-k取样:从tokens里选取k个作为候选,然后根据它们的"likelihood scores"来采样模型从最有可能的k个选项中随机选择一个。

Top-p取样:从tokens里选取累计概率大于或等于概率p的最小集合作为候选,然后随机选择一个。