概述

面向昇腾环境适配修改的TEI与其在GPU环境的使用差异主要包括以下两点：

• 如果使用MindIE Torch后端，需要对原始模型权重进行编译，将编译优化过的模型保存为pt文件；如果使用ATB后端，需替换原始模型权重路径中的模型类文件（例如：modeling_xxx.py）。
• 拉起服务与发送请求的指令与原生TEI一致，启动服务前需要设置运行设备卡号与模型后端相关的环境变量TEI_NPU_DEVICE与TEI_NPU_BACKEND，否则会被默认为缺省值。

请根据需要使用的模型后端进行模型准备，使用MindIE Torch编译模型必须依赖原始模型权重，若先根据选择ATB作为模型后端修改模型类文件，再参考选择MindIE Torch作为模型后端对模型进行编译优化会导致编译失败，因此不建议在同一权重目录下同时执行不同后端的模型准备。