安装ATB Models

操作步骤

1. 单击昇腾镜像仓库链接，进入MindIE镜像下载页面。
2. 单击页面右上角登录按钮，使用华为账号登录（若未注册，请先注册）。
3. 在MindIE镜像下载页面的“镜像版本”页签，根据您的设备形态，单击对应镜像后方“操作”栏中的“立即下载”。
4. 根据弹出的镜像下载操作指导页面下载镜像，示例如图1所示。
   图1 镜像下载
   
5. 使用以下命令在环境上新建解压目录（例如：/home/{用户名}/Package）。

   mkdir /home/{用户名}/Package

6. 使用以下命令赋予该路径读写权限。

   chmod u+rw /home/{用户名}/Package

7. 将获取的ATB Models软件包Ascend-mindie-atb-models_{version}_linux-{arch}_pyxxx_torchx.x.x-{abi}.tar.gz上传至该目录，ATB Models软件包存在于MindIE镜像包的/opt/package目录中。
   

   ATB Models的abi版本需要根据环境中安装的PyTorch环境来选择，其版本需要与PyTorch编译时使用的abi版本保持一致，调用torch.compiled_with_cxx11_abi()接口可以查看使用的abi版本：

   • 如果返回False，则选择abi=0；
   • 如果返回True，则选择abi=1。
8. 使用以下命令进入软件包所在路径并解压软件包，解压后包含的文件如表1所示。

   cd /home/{用户名}/Package
   tar -zxf Ascend-mindie-atb-models_{version}_linux-{arch}_pyxxx_torchx.x.x-{abi}.tar.gz

   表1 文件清单

   目录	文件	说明
   atb_llm	common_op_builders	atb_llm源代码
   	conf
   	layers
   	models
   	nn
   	runner
   	utils
   -	atb_llm-{version}-py3-none-any.whl	atb_llm安装包
   examples	convert	示例工程目录
   	__init__.py
   	input.jsonl
   	models
   	multimodal_runner.py
   	README.md
   	run_edge.py
   	run_fa_edge.py
   	run_fa.py
   	run_pa.py
   	server
   lib	libatb_speed_core.so	依赖的so文件
   	libatb_speed_models.so
   	libatb_speed_operations.so
   	libatb_speed_torch.so
   	libatb_torch.so
   	libatb_log.so
   -	public_address_statement.md	公网地址声明
   -	README.md	说明信息
   requirements	models	requirements源代码
   	requirements.txt
   -	set_env.sh	环境变量配置文件
   -	setup.py	打包文件
   tests	modeltest	测试工具源代码
   -	version.info	版本信息

9. 检查pip包安装路径权限。

   为避免whl包安装成功后，在使用中出现“module not found”错误。使用pip安装whl包时，需要保证当前用户对pip包安装位置拥有写权限，pip包安装路径可以通过pip show {已存在包的包名}方式获得，示例如下。

   pip show pip

   其安装路径如以下加粗内容所示（具体回显根据实际情况所示）：

   Name: pip
   Version: 25.1
   Summary: The PyPA recommended tool for installing Python packages.
   Home-page: https://pip.pypa.io/
   Author:
   Author-email: The pip developers <distutils-sig@python.org>
   License: MIT
   Location: /root/miniconda3/envs/infor/lib/python3.11/site-packages
   Requires:
   Required-by:

10. 使用以下命令在Python环境中安装atb_llm的Python包。

    pip install atb_llm-{version}-py3-none-any.whl

配置环境变量

当前提供进程级环境变量设置脚本，供用户在进程中引用，以自动完成环境变量设置。设置的环境变量在用户进程结束后自动失效。

source /home/{用户名}/Package/set_env.sh