chat_streamly

query

str

必选

推理请求文本，字符串长度范围[1, 4 * 1024 * 1024]。

sys_messages

List[dict]

可选

系统消息，列表最大长度为“16”，列表每个字典长度最大为“16”，字典key字符串长度最大为“16”，value字符串最大长度为4 * 1024* 1024，默认值为“None”。

role

str

可选

推理请求消息角色，长度取值[1, 16]，默认值为“user”。

llm_config

LLMParameterConfig

可选

调用大模型的参数，描述参见LLMParameterConfig类。

Iterator[str]

LLM文本推理的流式结果。