介绍

本章节主要通过具体样例，介绍如何快速基于LLM Manager API（C++），实现一个具有请求调度和模型推理能力的推理引擎。该样例主要实现了LLM Manager对象的初始化，推理请求的读取、解析和转换，发送请求给LLM Manager，推理响应的处理等几个关键功能。