Engine后处理参数

presence_penalty

float

存在惩罚，影响模型如何根据到目前为止是否出现在文本中来惩罚新token。正值将通过惩罚已经使用的词，增加模型谈论新主题的可能性。建议取值范围为 [-2.0, 2.0]，默认值0.0。

frequency_penalty

float

频率惩罚，影响模型如何根据文本中词汇的现有频率惩罚新词汇。正值将通过惩罚已经频繁使用的词来降低模型一行中重复用词的可能性。建议取值范围为 [-2.0, 2.0]，默认值0.0。

repetition_penalty

float

重复惩罚是一种技术，用于减少在文本生成过程中出现重复片段的概率。它对之前已经生成的文本进行惩罚，使得模型更倾向于选择新的、不重复的内容。小于1.0表示对重复进行奖励；1.0表示不进行重复度惩罚；大于1.0表示对重复进行惩罚，默认值1.0。

temperature

float

控制生成的随机性，较高的值会产生更多样化的输出。

取值越大，结果的随机性越大。推荐取值大于或等于0.001，小于0.001可能会导致文本质量不佳。默认值1.0。

top_p

float

控制模型生成过程中考虑的词汇范围，使用累计概率选择候选词，直到累积概率超过给定的阈值。该参数也可以控制生成结果的多样性，它基于累积概率选择候选词，直到累积概率超过给定的阈值为止。默认值为1.0。

top_k

int32

控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。默认值为0。

seed

uint64

用于指定推理过程的随机种子，相同的seed值可以确保推理结果的可重现性，不同的seed值会提升推理结果的随机性。默认值为1。

ignore_eos

bool

指定在推理文本生成过程中是否忽略eos_token结束符。

• true：是
• false：否

当数据类型--DatasetType为synthetic时，默认为true；其他数据类型时为false。建议显式传递ignore_eos，避免不同的数据集带来混淆。

watermark

bool

是否带模型水印，默认值为False。

• true：是
• false：否

logprobs

bool

推理结果是否包含logprobs信息。

• true：是
• false：否

top_logprobs

int32

推理结果中每个token携带的logprobs的数量。

best_of

int32

不开启beam search时，返回best_of个序列。

取值范围为[1, 128]或null，默认值为1。当设置best_of>1时，temperature的值必须设置为大于0。

• 当use_beam_search参数取值为false、null或不设置时：
  • 非流式推理场景下，best_of和n同时设置时，best_of的取值必须大于等于n；
  • 流式推理场景下，best_of和n必须相等且不可单独设置best_of。
• 当use_beam_search参数取值为true时，将不会对best_of的取值进行校验。

该参数不支持与MTP、Function Call、SplitFuse、Prefix Cache、并行解码、PD分离等特性叠加使用。

n

int32

当best_of配置为null或者不设置，或开启beam search时，返回n个序列。

取值范围为[1, 128]或null，默认值为1。当设置n>1时，temperature的值必须设置为大于0。

• 当use_beam_search参数取值为false、null或不设置时：
  • 非流式推理场景下，n和best_of同时设置时，best_of的取值必须大于等于n；
  • 流式推理场景下，n和best_of必须相等且不可单独设置best_of。
• 当use_beam_search参数取值为true时，将不会对best_of的取值进行校验。

该参数不支持与MTP、Function Call、SplitFuse、Prefix Cache、并行解码、PD分离等特性叠加使用。

use_beam_search

bool

是否启用beam search搜索方式。

默认false；该参数不支持与stop参数叠加使用。

• 非流式：

  返回参数n个序列，当n为null时，则返回一条回答。

• 流式：
  • 假流式，将结果一次性返回，多出来的序列会增加data数量。
  • 返回参数n个序列，当n为null时，则返回一条回答。

该参数不支持与MTP、Function Call、SplitFuse、Prefix Cache、并行解码、PD分离等特性叠加使用。