本文档介绍如何从源码编译MindIE-LLM,生成 [object Object] 包,安装与运行。
安装Python工具。MindIE-LLM 支持 Python == 3.10 和 Python == 3.11。
[object Object]克隆源码仓库。
[object Object]编译第三方依赖。
[object Object]设置环境变量。 获取 Python site-packages 路径(建议不要硬编码 torch 路径),并配置动态库搜索路径:
[object Object]可选:指定生成
[object Object]包的版本号:[object Object]编译生成 MindIE-LLM 的
[object Object]包。 在源码根目录下执行:[object Object]- 编译完成后,会在当前目录生成
[object Object]文件。 - 编译时,
[object Object]会自动调用[object Object]编译C++代码,并拷贝第三方依赖到包内。 - 编译后,生成临时目录
[object Object]、存放二进制的目录[object Object]和 debug 符号表[object Object]目录。
- 编译完成后,会在当前目录生成
安装MindIE-LLM。
[object Object]编译ATB_Models的
[object Object]包。[object Object][object Object]
否则会导致 _bz2 模块缺失,从而导致编译失败。
安装 ATB_Models。
[object Object]配置运行环境变量(可选)。
ATB_Models 安装完成后,需设置其运行所需的环境变量。通过 Python 动态获取
[object Object]的安装路径,以适配不同的 Python 环境和[object Object]位置:[object Object][object Object]