当“--TestType”取值为“tgi_client”时，后处理参数详情请参考下表。
参数 |
类型 |
说明 |
|---|---|---|
repetition_penalty |
Float |
重复惩罚用于减少在文本生成过程中出现重复片段的概率。它对之前已经生成的文本进行惩罚，使得模型更倾向于选择新的、不重复的内容。 小于1.0表示对重复进行奖励；1.0表示不进行重复度惩罚；大于1.0表示对重复进行惩罚。 |
return_full_text |
Bool |
是否将推理请求文本（inputs参数）添加到推理结果前面。
|
seed |
Int64 |
用于指定推理过程的随机种子，相同的seed值可以确保推理结果的可重现性，不同的seed值会提升推理结果的随机性。 |
temperature |
Float |
控制生成的随机性，较高的值会产生更多样化的输出。 |
top_k |
Int32 |
控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。 |
top_p |
Float |
控制模型生成过程中考虑的词汇范围，使用累计概率选择候选词，直到累计概率超过给定的阈值。该参数也可以控制生成结果的多样性，它基于累积概率选择候选词，直到累计概率超过给定的阈值为止。 |
truncate |
Bool |
输入文本做tokenizer之后，将token数量截断到该长度，读取截断后的n个token。若该字段值大于或等于token数量，则该字段无效。
|
typical_p |
Float |
解码输出概率分布指数。 |
watermark |
Bool |
是否带模型水印。
|