安装ATB Models

前提条件

请单击链接进入ATB Models软件包获取页面。

操作步骤

1. 单击ATB Models后方的申请按钮，弹出软件包申请页面。
2. 在软件包申请页面输入“公司/学校全称”、“手机号码/邮箱”和“申请原因”，并勾选“我已阅读并已同意《华为软件许可协议》的条款和条件”，单击“立即申请”。
   

   每个用户每日仅可申请一次ATB Models软件包。

3. 将获取的ATB Models安装包Ascend-mindie-atb-models_{version}_linux-{arch}_{torch-version}-{abi}.tar.gz上传至环境有读写权限任意路径下（例如：/$Home/Package）。
4. 使用以下命令进入软件包所在路径并解压软件包，解压后包含的文件如表1所示。

   cd /$Home/Package
   tar -zxf Ascend-mindie-atb-models_{version}_linux-{arch}_{torch-version}-{abi}.tar.gz

   表1 文件清单

   目录	文件	说明
   atb_llm	models	atb_llm源代码。
   	runner
   	utils
   -	atb_llm-{version}-py3-none-any.whl	atb_llm安装包。
   examples	__init__.py	示例工程目录。
   	convert
   	models
   	server
   	input.jsonl
   	run_fa.py
   	run_pa.py
   	README.md
   pytorch	examples	PyTorch相关文件。
   lib	libatb_speed_core.so	依赖的so文件。
   	libatb_speed_layers.so
   	libatb_speed_models.so
   	libatb_speed_torch.so
   	libatb_torch.so
   requirements	models	requirements源代码。
   	requirements.txt
   tests	unittest	测试工具源代码。
   	modeltest
   	fuzztest
   	CMakeLists.txt
   -	set_env.sh	环境变量配置文件。
   -	setup.py	打包文件。
   -	version.info	版本信息。
   -	public_address_statement.md	公网地址声明。
   -	README.md	说明信息。

5. 使用以下命令在Python环境中安装atb_llm的Python包。

   pip3 install atb_llm-{version}-py3-none-any.whl 

   

   为避免whl包安装成功后，在使用中出现“module not found”错误。使用pip安装whl包时，需要保证当前用户对pip包安装位置拥有写权限，pip包安装路径可以通过pip show（已存在包的包名）方式获得。

配置环境变量

当前提供进程级环境变量设置脚本，供用户在进程中引用，以自动完成环境变量设置。用户进程结束后自动失效。示例如下（以root用户默认安装路径为例）：

source /$Home/Package/atb_models/set_env.sh