接口功能

提供文本/流式推理处理功能。

接口格式

操作类型：POST

URL：https://{ip}:{port}/infer

请求参数

参数名	是否必选	说明	取值要求
inputs	必选	推理请求文本。	非空，0<字符数<=16000，支持中英文。tokenizer之后的token数量<=maxSeqLen-maxIterTimes（配置文件读取）。
do_sample	可选	是否做sampling。	bool类型，默认值false。
repetition_penalty	可选	重复惩罚用于减少在文本生成过程中出现重复片段的概率。它对之前已经生成的文本进行惩罚，使得模型更倾向于选择新的、不重复的内容。	float类型，大于0，默认值1.0。 1.0表示不进行重复度惩罚。大于1.0表示对重复进行惩罚。
seed	可选	用于指定推理过程的随机种子，相同的seed值可以确保推理结果的可重现性，不同的seed值会提升推理结果的随机性。	uint_64类型，取值范围(0, 18446744073709551615]，不传递该参数，系统会产生一个随机seed值。
temperature	可选	控制生成的随机性，较高的值会产生更多样化的输出。	float类型，大于0，默认值1.0。 1.0表示不进行计算。大于1.0表示输出随机性提高。
top_k	可选	控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。使用限制请参见使用限制。	int类型，取值范围(0, vocabSize)&&(0, 2147483647]，默认值0。 vocabSize是从modelWeightPath路径下的config.json文件中读取的vocab_size值，若不存在则vocabSize取默认值0。
top_p	可选	控制模型生成过程中考虑的词汇范围，使用累计概率选择候选词，直到累计概率超过给定的阈值。该参数也可以控制生成结果的多样性，它基于累积概率选择候选词，直到累计概率超过给定的阈值为止。	float类型，取值范围(0, 1)，默认值1.0。
stream	可选	指定返回结果是文本推理还是流式推理。	bool类型，默认值false。
details	可选	是否返回推理详细输出结果。	bool类型，默认值false。

使用样例

请求样例：

POST https://<ip>:<port>/infer

请求消息体：

{
 "inputs": "My name is Olivier and I",
 "stream": true,
 "parameters": {
  "temperature": 0.5,
  "top_k": 10,
  "top_p": 0.95,
  "do_sample": true,
  "seed": null,
  "repetition_penalty": 1.03,
  "details": true
 }
}

文本推理（“stream”=“false”）响应样例：

{
 "generated_text": "am a french native speaker. I am looking for a job in the hospitality industry. I",
 "details": {
  "finish_reason": "length",
  "generated_tokens": 20,
  "seed": 846930886
 }
}

流式推理（“stream”=“true”）响应样例（使用sse格式返回）：

data: {"tokens":{"id":626,"text":"am"}}

data: {"tokens":{"id":263,"text":" a"}}

data: {"tokens":{"id":5176,"text":" French"}}

data: {"tokens":{"id":17739,"text":" photograph"}}

data: {"tokens":{"id":261,"text":"er"}}

data: {"tokens":{"id":2729,"text":" based"}}

data: {"tokens":{"id":297,"text":" in"}}

data: {"tokens":{"id":3681,"text":" Paris"}}

data: {"tokens":{"id":29889,"text":"."}}

data: {"tokens":{"id":13,"text":"\n"}}

data: {"tokens":{"id":29902,"text":"I"}}

data: {"tokens":{"id":505,"text":" have"}}

data: {"tokens":{"id":1063,"text":" been"}}

data: {"tokens":{"id":27904,"text":" shooting"}}

data: {"tokens":{"id":1951,"text":" since"}}

data: {"tokens":{"id":306,"text":" I"}}

data: {"tokens":{"id":471,"text":" was"}}

data: {"tokens":{"id":29871,"text":" "}}

data: {"tokens":{"id":29896,"text":"1"}}

data: {"generated_text":"am a French photographer based in Paris.\nI have been shooting since I was 15","details":{"finish_reason":"length","generated_tokens":20},"tokens":{"id":29945,"text":null}}

输出说明

表1 文本推理结果说明
返回值	类型	说明
generated_text	string	推理返回结果，只在最后一次推理结果才返回。
details	object	推理details结果。目前定义以下字段，支持扩展。
finish_reason	string	推理结束原因。
generated_tokens	int	推理结果token数量。
seed	int	如果请求指定了sampling seed，返回该seed值。

表2 流式推理结果说明
返回值	类型	说明
generated_text	string	推理文本结果，只在最后一次推理结果才返回。
details	object	推理details结果，只在最后一次推理结果返回，支持扩展。
finish_reason	string	推理结束原因。
generated_tokens	int	推理结果token数量。
seed	int	如果请求指定了sampling seed，返回改seed值。
token	List[token]	每一次推理的token。
id	int	token id。
text	string	token对应文本。

文本/流式推理接口

接口功能

接口格式

请求参数

使用样例

输出说明