OpenAI后处理参数

当“--TestType”取值为openai时，后处理参数详情请参考下表。

参数	类型	说明
model	string	模型名，与MindIE Server配置文件中modelName的取值保持一致。
presence_penalty	float	存在惩罚，影响模型如何根据到目前为止是否出现在文本中来惩罚新token。正值将通过惩罚已经使用的词，增加模型谈论新主题的可能性。建议取值范围为 [-2.0, 2.0]。
frequency_penalty	float	频率惩罚，影响模型如何根据文本中词汇的现有频率惩罚新词汇。正值将通过惩罚已经频繁使用的词来降低模型一行中重复用词的可能性。建议取值范围为 [-2.0, 2.0]。
repetition_penalty	float	重复惩罚是一种技术，用于减少在文本生成过程中出现重复片段的概率。它对之前已经生成的文本进行惩罚，使得模型更倾向于选择新的、不重复的内容。小于1.0表示对重复进行奖励；1.0表示不进行重复度惩罚；大于1.0表示对重复进行惩罚。
temperature	float	控制生成的随机性，较高的值会产生更多样化的输出。推荐使用大于或等于0.001的值，小于0.001可能会导致文本质量不佳。
top_p	float	控制模型生成过程中考虑的词汇范围，使用累计概率选择候选词，直到累计概率超过给定的阈值。该参数也可以控制生成结果的多样性，它基于累积概率选择候选词，直到累计概率超过给定的阈值为止。
top_k	int32	控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。
seed	uint64	用于指定推理过程的随机种子，相同的seed值可以确保推理结果的可重现性，不同的seed值会提升推理结果的随机性。
include_stop_str_in_output	bool	是否在生成的推理文本中包含停止字符串。 true：是 false：否
skip_special_tokens	bool	在推理生成的文本中是否跳过特殊tokens。 true：是 false：否
ignore_eos	bool	指定在推理文本生成过程中是否忽略eos_token结束符。 true：是 false：否
logprobs	bool	推理结果是否包含logprobs信息。 true：是 false：否
top_logprobs	int32	推理结果中每个token携带的logprobs的数量。
best_of	int32	推理生成best_of个序列。与n联合使用时，表现为从best_of个序列中，选取n个返回给用户。取值范围为[1, 128]，默认值为1。当与参数n联合使用时，选取概率最高的前n个；流式推理场景下n和best_of必须相等。未设置参数best_of但设置参数n时，best_of将自动设置为n。此场景下要求temperature参数不为0。
n	int32	推理生成n个序列。取值范围为[1, 128]，默认值为1。可与best_of联合使用；流式推理场景下n和best_of相等。未设置参数best_of但设置参数n时，best_of将自动设置为n。开启beam_search时仅n生效，best_of不生效。
use_beam_search	bool	是否开启beam_search采样方法。 true：是 false：否

父主题： SamplingParams后处理参数说明