面向昇腾环境适配修改的TEI与其在GPU环境的使用差异主要包括以下两点:
请根据需要使用的模型后端进行模型准备,使用MindIE Torch编译模型必须依赖原始模型权重,若先根据选择ATB作为模型后端修改模型类文件,再参考选择MindIE Torch作为模型后端对模型进行编译优化会导致编译失败,因此不建议在同一权重目录下同时执行不同后端的模型准备。