使用场景
图1 MindIE LLM接口示意图


MindIE LLM接口和场景说明:
- 服务化接入场景
表1 服务化场景 服务化框架
MindIE LLM子组件范围
能力说明
接口示意
接口形式
MindIE Motor
LLM Manager+TextGenerator+Modeling
LLM Manager+TextGenerator提供完整的CB+PA自回归推理调度能力
ITF 0.L1
C++ API
- 模型能力测试场景
MindIE LLM Modeling后端
测试入口
能力说明
使用接口
测试脚本形式
ATB Models
run_pa.py
支持静态场景下模型对话、性能测试
ITF 0.M1
Python API
MindFormers
参考MindFormers社区
参考MindFormers社区
无
参考MindFormers社区
- MindIE LLM Modeling底层提供两种形式的模型后端,满足不同用户的使用需求。
- 接口编号ITF 0.M1:ITF 0表示Interface 0,最外层接口;M1表示Modeling对接TextGenerator的内部接口。