昇腾社区首页
中文
注册

配置MindIE LLM

前提条件

  • 服务器或容器环境上已经安装好驱动和固件、CANN包、PyTorch、ATB Models和MindIE。
  • MindIE LLM对于Python的环境要求为Python3.10,如果环境中的Python3.10不是默认版本,需要参考如下方法添加环境变量(Python路径根据实际路径进行修改)。
    export LD_LIBRARY_PATH=/usr/local/python3.10.13/lib:$LD_LIBRARY_PATH
    export PATH=/usr/local/python3.10.13/bin:$PATH

软件包文件清单

MindIE LLM组件包含的文件如表1所示。

表1 文件清单

目录/文件

文件

说明

bin

mindie_llm-{version}-py3-none-any.whl

MindIE LLM安装包。

lib

_cpu_logits_handler.so

依赖的so文件。

_memory_bridge.so

libmindie_llm_utils.so

set_env.sh

-

设置环境变量脚本。

version.info

-

版本信息。

操作步骤

  1. 执行以下命令,修改软件安装文件用户,以准备安装用户创建的安装用户为例。
    chown -R username:username mindie_llm
  2. 执行以下命令,修改软件安装文件权限。
    chmod 750 mindie-llm
    chmod -R 550 mindie-llm/bin
    chmod -R 550 mindie-llm/lib
  3. 切换到运行用户,加载环境变量。
    su HwHiAiUser
    source mindie-llm/set_env.sh