TGI（全称：Text Generation Inference）是HuggingFace支持的推理部署工具。TGI本身不支持NPU上的模型运行，通过提供昇腾环境下的TGI适配补丁，帮助客户在昇腾环境下运行TGI框架服务。适配后的系统： TGI服务的启动、与Client的交互协议、Batch调度和KV Cache分配功能仍然在TGI框架中完成。 模型推理与后处理能力：从开源TGI切换至MindIE LLM提供的统一接口。 上图中，昇腾适配TGI的部分为Model Shard的部分。
