SetPrefillAddr接口

接口功能

设置请求在P节点上的Server IP。

接口格式

void SetPrefillAddr(std::string &prefillAddr);

接口参数

参数	是否必选	说明	取值要求
prefillAddr	是	全量推理阶段的ip地址。	合法的string类型，Server IP地址。

使用样例

构造一个请求对象后，为该请求对象设置全量推理阶段的IP地址。

mindie_llm::InferRequestId runtimeReqId(0);
std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId);
string prefillAddr= "";
runtimeRequest->SetPrefillAddr(prefillAddr);

返回值

无。

父主题： InferRequest