GetPrefillAddr接口
接口功能
获取P节点的Server IP。
接口格式
std::string GetPrefillAddr() const;
接口参数
无。
使用样例
mindie_llm::InferRequestId runtimeReqId(0); std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId); string prefillAddr= ""; runtimeRequest->SetPrefillAddr(prefillAddr); string addr = runtimeRequest->GetPrefillAddr();
返回值
P节点的Server IP。
父主题: InferRequest