使用场景
generator接口主要面向TGI、vLLM框架，提供模型管理、加载、推理和后处理功能。
提供对接开源三方服务化TGI、vLLM能力，基于pytorch框架，仅支持backendType='atb'场景，实现大模型推理、后处理功能。
文件路径：
“mindie_llm/text_generator/adapter/generator_torch.py”
。
父主题：
generator_torch.py提供Python接口