SetSrcBlockTable接口
接口功能
设置请求在P节点上的block table。
接口格式
void SetSrcBlockTable(const std::vector<int64_t> &srcBlockTable);
接口参数
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
srcBlockTable |
是 |
全量推理节点上的block table。 |
元素为int64_t类型的vector，元素值大于等于0。 |
使用样例
构造一个请求对象后，为该请求对象设置请求在P节点上的block table。
1 2 3 4 | mindie_llm::InferRequestId runtimeReqId(0); std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId); std::vector<int64_t> srcBlockTable{0, 1, 2}; runtimeRequest->SetSrcBlockTable(srcBlockTable); |
返回值
无。
父主题： InferRequest