昇腾社区首页
中文
注册

安装MindIE Turbo(物理机)

硬件环境和操作系统准备

  • 目前MindIE Turbo支持的硬件环境:Atlas 800I A2 推理服务器(32GB/64GB)
  • 支持的操作系统请参见《MindIE安装指南》中的“安装说明”章节

软件包配套关系

MindIE Turbo与CANN版本必须配套使用,其版本配套关系如表1所示。

表1 版本配套列表

MindIE Turbo版本

配套CANN版本

vLLM Ascend

vLLM

Pytorch

2.0.RC1

8.1.RC1

v0.7.3

v0.7.3

2.5.1

软件包下载

软件安装前,请参考表2获取所需软件包和对应的数字签名文件,各软件包版本号需要保持一致。

下载本软件即表示您同意华为企业业务最终用户许可协议(EULA)的条款和条件。

表2 软件包清单

依赖

软件包

软件说明

获取链接

MindIE Turbo

Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz

MindIE Turbo软件包。

获取链接

驱动与固件

>=24.0

NPU驱动与固件

获取链接

CANN

Ascend-cann-toolkit_<version>_linux-<arch>.run

Toolkit开发套件包。

获取链接

Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run

Kernels算子包。

Ascend-cann-nnal_<version>_linux-<arch>.run

NNAL神经网络加速库。

Ascend Extension for PyTorch

torch_npu-<torch_version>.post<post_id>-cpxxx-cpxxx-manylinux_<arch>.whl

torch_npu插件whl包。

获取链接

说明:

在Pytorch栏单击对应版本后方下载按钮,跳转至Pytorch的gitee仓发布页,然后在页面下方获取对应版本的torch_npu。

torch-<torch_version>+cpu-cpxxx-cpxxx-linux_<arch>.whl

PyTorch框架whl包。

请从《Ascend Extension for PyTorch 软件安装指南》中的“安装PyTorch”章节获取。

Python

3.10.x、3.11.x

-

-

  • 安装配套版本的驱动与固件(HDK)和CANN软件(Toolkit、Kernels和NNAL),请在《CANN 软件安装指南》中的“选择安装场景”章节,“安装方式”选择在物理机上安装,“操作系统”根据实际情况选择,“业务场景”选择训练&推理&开发调试
    • 请参考《CANN 软件安装指南》中的“安装NPU驱动和固件”章节,安装配套版本的驱动与固件(HDK)。
    • 请参考《CANN 软件安装指南》中的“安装CANN软件包”章节,安装CANN软件(Toolkit、Kernels和NNAL)。

软件数字签名验证

为了防止软件包在传递过程或存储期间被恶意篡改,下载软件包时需下载对应的数字签名文件用于完整性验证。

请单击PGP数字签名工具包获取工具包,将工具包解压后,请参考文件夹中的《OpenPGP签名验证指南》,对下载的软件包进行PGP数字签名校验。如果校验失败,请不要使用该软件包,访问“支持与服务在论坛”求助或提交技术工单。

安装MindIE Turbo

  1. 单击获取链接,获取MindIE Turbo软件包(Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz)。
  2. 将MindIE Turbo软件包上传到安装环境任意路径(如/home/package)。
  3. 进入软件包所在路径。
    cd /home/package
  4. 执行如下命令安装MindIE Turbo。
    pip install mindie_turbo-2.0rc1-cp311-cp311-linux_aarch64.whl

    安装包名称请根据具体情况修改。

  1. 执行如下命令验证是否安装成功:
    pip show mindie_turbo

    如果出现如下示例结果,表示安装成功:

    Version: 2.0rc1
    Summary: MindIE Turbo: An LLM inference acceleration framework featuring extensive plugin collections optimized for Ascend devices.
    ...