昇腾社区首页
中文
注册

使用场景

图1 MindIE LLM接口示意图

MindIE LLM接口和场景说明:

  • 模型能力测试场景

    MindIE LLM Modeling后端

    测试入口

    能力说明

    使用接口

    测试脚本形式

    ATB Models

    run_pa.py

    支持静态场景下模型对话、精度、性能测试

    ITF 0.M1

    Python API

    MindFormers

    参考MindFormers社区

    参考MindFormers社区

    参考MindFormers社区

    补充说明:

    MindIE LLM Modeling底层提供两种形式的模型后端,满足不同用户的使用需求。