LLMReq构造函数
函数功能
构造LLMReq。
函数原型
__init__(req_id=2**64-1, prompt_length=0, prompt_cluster_id=0, decoder_cluster_id=0, prefix_id=2**64-1)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
req_id |
int |
请求ID。 |
prompt_length |
int |
prompt序列长度 |
prompt_cluster_id |
int |
prompt集群ID |
decoder_cluster_id |
int |
decoder集群ID |
prefix_id |
int |
前缀ID |
调用示例
1 2 | from llm_datadist import LLMReq llm_req = LLMReq() |
返回值
返回LLMReq的实例。
约束说明
无
父主题： LLMReq