昇腾社区首页
中文
注册

chat

功能描述

与LLM服务进行对话,获取LLM模型的推理结果。

函数原型

def chat(query, sys_messages, role, llm_config)

输入参数说明

参数名

数据类型

可选/必选

说明

query

str

必选

推理请求文本,字符串长度范围[1, 4 * 1024 * 1024]。

sys_messages

List[dict]

可选

系统消息,列表最大长度为16,列表每个字典长度最大为16,字典key字符串长度最大为“16”,value字符串最大长度为4 * 1024* 1024,默认值为“None”

role

str

可选

推理请求消息角色,长度取值[1, 16],默认值为“user”

llm_config

LLMParameterConfig

可选

调用大模型的参数,描述参见LLMParameterConfig类

返回值说明

数据类型

说明

str

LLM文本推理的结果。