已获取ATB Models软件包。
mkdir /home/{用户名}/Package
chmod u+rw /home/{用户名}/Package
cd /home/{用户名}/Package tar -zxf Ascend-mindie-atb-models_{version}_linux-{arch}_pyxxx_torchx.x.x-{abi}.tar.gz
如何选择ATB Models不同abi版本的软件包:
ATB Models的abi版本需要根据环境中安装的PyTorch环境来选择,其版本需要与PyTorch编译时使用的abi版本保持一致;调用torch.compiled_with_cxx11_abi()接口可以查看使用的abi版本,如果返回False,则选择abi=0;如果返回True,则选择abi=1。
目录 |
文件 |
说明 |
---|---|---|
atb_llm |
models |
atb_llm源代码。 |
runner |
||
utils |
||
common_op_builders |
||
- |
atb_llm-{version}-py3-none-any.whl |
atb_llm安装包。 |
examples |
__init__.py |
示例工程目录。 |
convert |
||
models |
||
server |
||
input.jsonl |
||
run_fa.py |
||
run_pa.py |
||
README.md |
||
lib |
libatb_speed_core.so |
依赖的so文件。 |
libatb_speed_models.so |
||
libatb_speed_operations.so |
||
libatb_speed_torch.so |
||
libatb_torch.so |
||
requirements |
models |
requirements源代码。 |
requirements.txt |
||
tests |
modeltest |
测试工具源代码。 |
- |
set_env.sh |
环境变量配置文件。 |
- |
setup.py |
打包文件。 |
- |
version.info |
版本信息。 |
- |
public_address_statement.md |
公网地址声明。 |
- |
README.md |
说明信息。 |
为避免whl包安装成功后,在使用中出现“module not found”错误。使用pip安装whl包时,需要保证当前用户对pip包安装位置拥有写权限,pip包安装路径可以通过pip show {已存在包的包名}方式获得。
pip3 install atb_llm-{version}-py3-none-any.whl
当前提供进程级环境变量设置脚本,供用户在进程中引用,以自动完成环境变量设置。用户进程结束后自动失效。示例如下(以root用户默认安装路径为例):
source /home/{用户名}/Package/set_env.sh