开发者
下载
[object Object][object Object]

本文档介绍如何从源码编译MindIE-LLM,生成 [object Object] 包,安装与运行。

[object Object][object Object]

MindIE镜像获取请参见

[object Object]
  1. 容器/物理机安装方式,需要准备的软件包和依赖请参见
  2. 容器/物理机安装方式,软件包和依赖的安装请参见
[object Object]
  1. 安装Python工具。MindIE-LLM 支持 Python == 3.10Python == 3.11

    [object Object]
  2. 克隆源码仓库。

    [object Object]
  3. 编译第三方依赖。

    [object Object]
  4. 设置环境变量。 获取 Python site-packages 路径(建议不要硬编码 torch 路径),并配置动态库搜索路径:

    [object Object]

    可选:指定生成 [object Object] 包的版本号:

    [object Object]
  5. 编译生成 MindIE-LLM 的 [object Object] 包。 在源码根目录下执行:

    [object Object]
    • 编译完成后,会在当前目录生成 [object Object] 文件。
    • 编译时,[object Object] 会自动调用 [object Object] 编译C++代码,并拷贝第三方依赖到包内。
    • 编译后,生成临时目录 [object Object]、存放二进制的目录 [object Object] 和 debug 符号表 [object Object] 目录。
  6. 安装MindIE-LLM。

    [object Object]
  7. 编译ATB_Models的 [object Object] 包。

    [object Object]
    [object Object]

否则会导致 _bz2 模块缺失,从而导致编译失败。

  1. 安装 ATB_Models。

    [object Object]
  2. 配置运行环境变量(可选)。

    ATB_Models 安装完成后,需设置其运行所需的环境变量。通过 Python 动态获取 [object Object] 的安装路径,以适配不同的 Python 环境和 [object Object] 位置:

    [object Object]
    [object Object]
[object Object]

升级详情请参见

[object Object]

卸载详情请参见