chat
功能描述
与LLM服务进行对话,获取LLM模型的推理结果。
函数原型
def chat(query, sys_messages, role, llm_config)
输入参数说明
参数名 |
数据类型 |
可选/必选 |
说明 |
---|---|---|---|
query |
str |
必选 |
推理请求文本,字符串长度范围[1, 4 * 1024 * 1024]。 |
sys_messages |
List[dict] |
可选 |
系统消息,列表最大长度为16,列表每个字典长度最大为16,字典key字符串长度最大为“16”,value字符串最大长度为4 * 1024* 1024,默认值为“None”。 |
role |
str |
可选 |
推理请求消息角色,长度取值[1, 16],默认值为“user”。 |
llm_config |
LLMParameterConfig |
可选 |
调用大模型的参数,描述参见LLMParameterConfig类。 |
返回值说明
数据类型 |
说明 |
---|---|
str |
LLM文本推理的结果。 |
父主题: Text2TextLLM类