当“--TestType”取值为“engine”时，后处理参数详情请参考下表。由于Engine模式不通过Server，而是直接调用LLM的接口，当未传递指定参数时，其参数具有默认值。
参数 |
类型 |
说明 |
|---|---|---|
presence_penalty |
Float |
存在惩罚，影响模型如何根据到目前为止是否出现在文本中来惩罚新token。正值将通过惩罚已经使用的词，增加模型谈论新主题的可能性。建议取值范围为 [-2.0, 2.0]，默认值0.0。 |
frequency_penalty |
Float |
频率惩罚，影响模型如何根据文本中词汇的现有频率惩罚新词汇。正值将通过惩罚已经频繁使用的词来降低模型一行中重复用词的可能性。建议取值范围为 [-2.0, 2.0]，默认值0.0。 |
repetition_penalty |
Float |
重复惩罚是一种技术，用于减少在文本生成过程中出现重复片段的概率。它对之前已经生成的文本进行惩罚，使得模型更倾向于选择新的、不重复的内容。小于1.0表示对重复进行奖励；1.0表示不进行重复度惩罚；大于1.0表示对重复进行惩罚，默认值1.0。 |
temperature |
Float |
控制生成的随机性，较高的值会产生更多样化的输出。 取值越大，结果的随机性越大。推荐取值大于或等于0.001，小于0.001可能会导致文本质量不佳。默认值1.0。 |
top_p |
Float |
控制模型生成过程中考虑的词汇范围，使用累计概率选择候选词，直到累计概率超过给定的阈值。该参数也可以控制生成结果的多样性，它基于累积概率选择候选词，直到累计概率超过给定的阈值为止。默认值为1.0。 |
top_k |
Int32 |
控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。默认值为0。 |
seed |
Int64 |
用于指定推理过程的随机种子，相同的seed值可以确保推理结果的可重现性，不同的seed值会提升推理结果的随机性。默认值为1。 |
ignore_eos |
Bool |
指定在推理文本生成过程中是否忽略eos_token结束符。
当数据类型--DatasetType为synthetic时，默认为true；其他数据类型时为false。建议显式传递ignore_eos，避免不同的数据集带来混淆。 |
watermark |
Bool |
是否带模型水印，默认值为False。
|