昇腾社区首页
EN
注册

安装MindIE Turbo(物理机)

硬件环境和操作系统准备

  • 目前MindIE Turbo支持的硬件环境:Atlas 800I A2 推理服务器(32GB/64GB)
  • 支持的操作系统请参见《MindIE安装指南》中的“安装说明”章节

软件包配套关系

MindIE Turbo与CANN版本必须配套使用,其版本配套关系如表1所示。

表1 版本配套列表

MindIE Turbo版本

配套CANN版本

vLLM Ascend

vLLM

PyTorch

2.1.RC1

8.2.RC1

v0.9.1

v0.9.1

2.5.1

软件包下载

软件安装前,请参考表2获取所需软件包和对应的数字签名文件,各软件包版本号需要保持一致。

下载本软件即表示您同意华为企业业务最终用户许可协议(EULA)的条款和条件。

表2 软件包清单

依赖

软件包

软件说明

获取链接

MindIE Turbo

Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz

MindIE Turbo软件包。

获取链接

驱动与固件

>=24.0

NPU驱动与固件

获取链接

CANN

Ascend-cann-toolkit_<version>_linux-<arch>.run

Toolkit开发套件包。

获取链接

Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run

Kernels算子包。

Ascend-cann-nnal_<version>_linux-<arch>.run

NNAL神经网络加速库。

Ascend Extension for PyTorch

torch_npu-<torch_version>.post<post_id>-cpxxx-cpxxx-manylinux_<arch>.whl

torch_npu插件whl包。

获取链接

说明:

在PyTorch栏单击对应版本后方下载按钮,跳转至PyTorch的gitee仓发布页,然后在页面下方获取对应版本的torch_npu。

torch-<torch_version>+cpu-cpxxx-cpxxx-linux_<arch>.whl

PyTorch框架whl包。

请从《Ascend Extension for PyTorch 软件安装指南》中的“安装PyTorch”章节获取。

Python

3.10.x、3.11.x

-

-

  • 安装配套版本的驱动与固件和CANN软件(Toolkit、Kernels和NNAL),请在《CANN 软件安装指南》中的“选择安装场景”章节(商用版)或“选择安装场景”章节(社区版),“安装方式”选择在物理机上安装,“操作系统”根据实际情况选择,“业务场景”选择训练&推理&开发调试
    • 请参考《CANN 软件安装指南》中的“安装NPU驱动和固件”章节(商用版)或“安装NPU驱动和固件”章节(社区版),安装配套版本的驱动与固件。
    • 请参考《CANN 软件安装指南》的“安装CANN”章节(商用版)或《CANN 软件安装指南》的“安装CANN”章节(社区版),安装CANN软件(Toolkit、Kernels和NNAL)。

软件数字签名验证

为了防止软件包在传递过程或存储期间被恶意篡改,下载软件包时需下载对应的数字签名文件用于完整性验证。

请单击PGP数字签名工具包获取工具包,将工具包解压后,请参考文件夹中的《OpenPGP签名验证指南》,对下载的软件包进行PGP数字签名校验。如果校验失败,请不要使用该软件包,访问支持与服务在论坛求助或提交技术工单。

安装MindIE Turbo

  1. 单击获取链接,获取MindIE Turbo软件包(Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz)。
  2. 将MindIE Turbo软件包上传到安装环境任意路径(如“/home/package”目录)。
  3. 进入软件包所在路径并解压。
    cd /home/package
    tar -zxvf Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz
    cd Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>
  4. 执行如下命令安装MindIE Turbo。
    pip install mindie_turbo-<version>-cpxxx-cpxxx-linux_aarch64.whl

    安装包名称请根据具体情况修改。

  1. 执行如下命令验证是否安装成功:
    pip show mindie_turbo

    如果出现如下示例结果,表示安装成功:

    Version: 2.1rc1
    Summary: MindIE Turbo: An LLM inference acceleration framework featuring extensive plugin collections optimized for Ascend devices.
    ...