昇腾社区首页
EN
注册
开发者
下载

安装MindIE Turbo

硬件环境和操作系统准备

  • 目前MindIE Turbo支持的硬件环境:Atlas 800I A2 推理服务器(32GB/64GB)
  • 支持的操作系统请参见《MindIE安装指南》中的“安装说明”章节

软件包配套关系

MindIE Turbo与CANN版本必须配套使用,其版本配套关系如表1所示。

表1 版本配套列表

MindIE Turbo版本

配套CANN版本

vLLM Ascend

vLLM

Ascend Extension for PyTorch

2.3.0

8.5.0

v0.11.0

v0.11.0

7.3.0

软件包下载

软件安装前,请参考表2获取所需软件包和对应的数字签名文件,各软件包版本号应保持一致。

下载本软件即表示您同意华为企业业务最终用户许可协议(EULA)的条款和条件。

表2 软件包清单

依赖

软件包

软件说明

获取链接

MindIE Turbo

Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz

MindIE Turbo软件包。

获取链接

驱动与固件

>=24.0

NPU驱动与固件

获取链接

CANN

Ascend-cann-toolkit_<version>_linux-<arch>.run

Toolkit开发套件包。

获取链接

Ascend-cann-<chip_type>-ops_<version>_linux-<arch>.run

ops算子包。

Ascend-cann-nnal_<version>_linux-<arch>.run

NNAL神经网络加速库。

Ascend Extension for PyTorch

torch_npu-<torch_version>.post<post_id>-cpxxx-cpxxx-manylinux_<arch>.whl

torch_npu插件whl包。

获取链接

说明:

在PyTorch栏单击对应版本后方下载按钮,跳转至PyTorch的gitee仓发布页,然后在页面下方获取对应版本的torch_npu。

torch-<torch_version>+cpu-cpxxx-cpxxx-linux_<arch>.whl

PyTorch框架whl包。

请从《Ascend Extension for PyTorch 软件安装指南》中的“安装PyTorch”章节获取。

Python

3.10.x、3.11.x

-

-

  • 安装配套版本的驱动与固件和CANN软件(Toolkit、ops和NNAL),请在《CANN 软件安装指南》中的“选择安装场景”章节(商用版)或“选择安装场景”章节(社区版),“安装方式”选择在物理机上安装,“操作系统”根据实际情况选择,“业务场景”选择训练&推理&开发调试
    • 请参考《CANN 软件安装指南》中的“安装NPU驱动和固件”章节(商用版)或“安装NPU驱动和固件”章节(社区版),安装配套版本的驱动与固件。
    • 请参考《CANN 软件安装指南》的“安装CANN”章节,安装CANN软件(Toolkit、ops和NNAL)。

软件数字签名验证

为了防止软件包在传递过程或存储期间被恶意篡改,下载软件包时需下载对应的数字签名文件用于完整性验证。

请单击PGP数字签名工具包获取工具包,将工具包解压后,请参考文件夹中的《OpenPGP签名验证指南》,对下载的软件包进行PGP数字签名校验。如果校验失败,请不要使用该软件包,访问支持与服务在论坛求助或提交技术工单。

安装MindIE Turbo

  1. 单击获取链接,获取MindIE Turbo软件包(Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz)。
  2. 将MindIE Turbo软件包上传到安装环境任意路径(如“/home/package”目录)。
  3. 进入软件包所在路径并解压。
    cd /home/package
    tar -zxvf Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz
    cd Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>
  4. 执行如下命令安装MindIE Turbo。
    pip install mindie_turbo-<version>-cpxxx-cpxxx-linux_aarch64.whl

    安装包名称请根据具体情况修改。

  1. 执行如下命令验证是否安装成功:
    pip show mindie_turbo

    如果出现如下示例结果,表示安装成功:

    Version: 2.3.0
    Summary: MindIE Turbo: An LLM inference acceleration framework featuring extensive plugin collections optimized for Ascend devices.
    ...