安装MindIE Turbo(物理机)
软件包配套关系
MindIE Turbo与CANN版本必须配套使用,其版本配套关系如表1所示。
软件包下载
软件安装前,请参考表2获取所需软件包和对应的数字签名文件,各软件包版本号需要保持一致。
下载本软件即表示您同意华为企业业务最终用户许可协议(EULA)的条款和条件。
依赖 |
软件包 |
软件说明 |
获取链接 |
---|---|---|---|
MindIE Turbo |
Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz |
MindIE Turbo软件包。 |
|
驱动与固件 |
>=24.0 |
NPU驱动与固件 |
|
CANN |
Ascend-cann-toolkit_<version>_linux-<arch>.run |
Toolkit开发套件包。 |
|
Ascend-cann-kernels-<chip_type>_<version>_linux-<arch>.run |
Kernels算子包。 |
||
Ascend-cann-nnal_<version>_linux-<arch>.run |
NNAL神经网络加速库。 |
||
Ascend Extension for PyTorch |
torch_npu-<torch_version>.post<post_id>-cpxxx-cpxxx-manylinux_<arch>.whl |
torch_npu插件whl包。 |
说明:
在Pytorch栏单击对应版本后方下载按钮,跳转至Pytorch的gitee仓发布页,然后在页面下方获取对应版本的torch_npu。 |
torch-<torch_version>+cpu-cpxxx-cpxxx-linux_<arch>.whl |
PyTorch框架whl包。 |
||
Python |
3.10.x、3.11.x |
- |
- |
软件数字签名验证
为了防止软件包在传递过程或存储期间被恶意篡改,下载软件包时需下载对应的数字签名文件用于完整性验证。
请单击PGP数字签名工具包获取工具包,将工具包解压后,请参考文件夹中的《OpenPGP签名验证指南》,对下载的软件包进行PGP数字签名校验。如果校验失败,请不要使用该软件包,访问“支持与服务在论坛”求助或提交技术工单。
安装MindIE Turbo
- 单击获取链接,获取MindIE Turbo软件包(Ascend-mindie-turbo_<version>_pyxxx_linux_<arch>.tar.gz)。
- 将MindIE Turbo软件包上传到安装环境任意路径(如/home/package)。
- 进入软件包所在路径。
cd /home/package
- 执行如下命令安装MindIE Turbo。
pip install mindie_turbo-2.0rc1-cp311-cp311-linux_aarch64.whl
安装包名称请根据具体情况修改。
- 执行如下命令验证是否安装成功:
pip show mindie_turbo
如果出现如下示例结果,表示安装成功:
Version: 2.0rc1 Summary: MindIE Turbo: An LLM inference acceleration framework featuring extensive plugin collections optimized for Ascend devices. ...