一、版本信息

1.NPU驱动、固件版本

Atlas 300I Pro 24GB * 8 310P

Software Version : 24.1.0.1

Firmware Version : 7.5.0.5.220

2.系统版本

NAME="openEuler"

VERSION="22.03 LTS"

3.CANN版本

package_name=Ascend-cann-toolkit

version=8.1.RC1

4.mindIE版本

2.0.RC1

二、问题

有以下问题想咨询

1.Atlas 300I Pro 使用mindIE service服务化部署大模型，支持哪些大模型 ？不同的大模型推理，是否需要安装不同CANN、mindIE版本? https://www.hiascend.com/software/modelzoo/models 全部都是Atlas 800I A2、300I DUO的镜像，没有300I Pro的镜像

2.Atlas 300I Pro 使用mindIE service服务化部署大模型，只能以docker镜像的方式运行吗，例如镜像mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts，本机系统版本是否需要和镜像系统保持一致？

是否可以使用CANN+mindIE+Ascend-mindie-atb-models_{version}linux-{arch}{torch-version}-{abi}.tar.gz服务化部署大模型，而不使用镜像