类功能
功能描述
对接语言大模型参数类,每个参数具体有效值会根据不同模型配置有差别。
函数原型
from mx_rag.llm import LLMParameterConfig LLMParameterConfig(max_tokens, presence_penalty, frequency_penalty, temperature, top_p, seed, stream)
输入参数说明
调用示例
from mx_rag.llm import Text2TextLLM, LLMParameterConfig from mx_rag.utils import ClientParam llm = Text2TextLLM(base_url="https://{ip}:{port}/v1/chat/completions", model_name="qianwen-7b", llm_config=LLMParameterConfig(max_tokens=512), client_param=ClientParam(ca_file="/path/to/ca.crt") ) res = llm.chat("请介绍下北京") print(res) for res in llm.chat_streamly("请介绍下北京"): print(res)
父主题: LLMParameterConfig类