安装部署

支持的硬件环境

当前大模型推理迁移支持以下硬件产品，具体请参见《昇腾产品形态说明》。

安装CANN软件

大模型推理适配需依赖CANN开发套件包，请参考《CANN 软件安装指南》搭建开发环境，并配置相关环境变量。

安装Ascend Transformer Boost加速库

大模型推理适配需依赖Ascend Transformer Boost加速库，请参考《CANN Ascend Transformer Boost加速库 用户指南》中“安装部署”章节，安装加速库atb包并配置环境变量。

获取软件包

软件安装前，请参考表1获取所需软件包和对应的数字签名文件，各软件包版本号需要保持一致。
表1 软件包列表

名称

软件包

说明

获取链接

Transformer LLM推理模型库

Ascend-cann-llm_{version}_linux-{arch}_torch{torch_version}-{abi0|abi1}.tar.gz

大语言模型推理参考实例，包括gptneox、llama、bloom、chatglm、baichuan等开源模型。

请根据C++程序编译时的_GLIBCXX_USE_CXX11_ABI参数的值选择abi0或abi1软件包。

获取链接

Ascend-cann-llm_{version}_linux-{arch}_torch{torch_version}-{abi0|abi1}.tar.gz

{version}表示软件版本号，{arch}表示CPU架构。

软件数字签名验证

为了防止软件包在传递过程或存储期间被恶意篡改，下载软件包时需下载对应的数字签名文件用于完整性验证。

在软件包下载之后，请参考《OpenPGP签名验证指南》，对从Support网站下载的软件包进行PGP数字签名校验。如果校验失败，请不要使用该软件包，先联系华为技术支持工程师解决。

使用软件包安装/升级之前，也需要按上述过程先验证软件包的数字签名，确保软件包未被篡改。

运营商客户请访问：https://support.huawei.com/carrier/digitalSignatureAction

企业客户请访问：https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

安装步骤

安装Transformer LLM推理模型库，根据C++程序编译时的_GLIBCXX_USE_CXX11_ABI参数的值选择cxx11abi0或cxx11abi1软件包。

  1. 配置环境变量（以root用户默认安装路径为例）。

    # CANN & 加速库 环境准备
source /usr/local/Ascend/ascend-toolkit/set_env.sh
source /usr/local/Ascend/atb/set_env.sh
    • 如果以root用户安装，请勿安装在非root用户目录下。
    • 如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。
      • root用户：“/usr/local/Ascend”
      • 非root用户：“${HOME}/Ascend”

        其中${HOME}为当前用户目录。

  2. 解压Transformer LLM推理模型库。

    # 模型库解压 & 环境配置
tar -xvf Ascend-cann-llm_{version}_linux-{arch}_torch{torch_version}-{abi0|abi1}.tar.gz
source set_env.sh

父主题： PyTorch大模型推理适配