服务器或容器环境上已经安装好驱动和固件、CANN包、PyTorch、ATB Models和MindIE。
MindIE LLM对于Python的环境要求为Python3.10.x，如果环境中的Python3.10.x不是默认版本，需要参考如下方法添加环境变量（Python路径根据实际路径进行修改）。
```
export LD_LIBRARY_PATH=/usr/local/python3.10.13/lib:$LD_LIBRARY_PATH
export PATH=/usr/local/python3.10.13/bin:$PATH
```

MindIE LLM组件包含的文件如表1所示。

表1 文件清单
目录/文件	文件	说明
bin	infer_engine-{version}-py3-none-any.whl	MindIE LLM安装包。
	llm_engine_test
	llm_manager_python_api_demo-{version}-py3-none-any.whl
	mindie_llm-{version}-py3-none-any.whl
	mindie_llm_backend_connector
	model_wrapper-{version}-py3-none-any.whl
include	llm_manager	头文件。
include	sdk	头文件。
lib	grpc	依赖的GRPC文件目录。
	_cpu_logits_handler.so	依赖的so文件。
	_memory_bridge.so
	_prefix_tree.so
	infer_engine.so
	libboost_chrono.so.1.82.0
	libboost_thread.so.1.82.0
	libboundscheck.so
	libcrypto.so
	libmindie_llm_backend_model.so
	libmindie_llm_engine_manager.so
	libmindie_llm_ibis.so
	libmindie_llm_manager.so
	libmindie_llm_utils.so
	libssl.so
	llm_manager_python.so
set_env.sh	-	配置环境变量脚本。
version.info	-	版本信息。

以安装用户进入MindIE安装目录。
```
cd {MindIE安装目录}/latest
```
执行以下命令，修改软件安装文件用户，以准备安装用户创建的安装用户为例。
```
chown -R username:username mindie-llm
```

执行以下命令，修改软件安装文件权限。

chmod 750 mindie-llm
chmod -R 500 mindie-llm/bin
chmod -R 550 mindie-llm/include
chmod -R 550 mindie-llm/lib

配置MindIE LLM