2.3.0版本配套文档
文档名称 |
内容简介 |
|---|---|
介绍MindIE各组件以及各模型推理路线快速入门。 |
|
介绍MindIE支持的大语言模型、嵌入模型、多模态理解模型和多模态生成模型。 |
|
介绍如何安装MindIE，提供MindIE的安装方案、安装开发环境以及安装完成后的配置、升级和卸载。 |
|
介绍面向LLM PD分离推理的请求调度框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，向下对接MindIE LLM，满足大语言模型高性能推理需求。 |
|
介绍模型推理使用流程，提供了量化、长序列、多机等特性以及API接口的使用说明。 |
|
介绍如何构建昇腾亲和的多模态加速系列套件，配合业内模型套件(如：diffusers)，实现多模态推理在昇腾上的效率。 |
|
介绍MindIE Turbo的安装、快速上手、接口列表以及性能调优等。 |
|
提供MindIE各组件日志的详细信息。 |
|
提供MindIE各组件错误码的详细信息。 |
|
提供MindIE通信矩阵详细信息。 |
|
提供MindIE开源软件声明详细信息。 |