昇腾社区首页
中文
注册

配置MindIE LLM

前提条件

  • 服务器或容器环境上已经安装好NPU驱动和固件、CANN包、PyTorch、ATB Models和MindIE。
  • MindIE LLM对于Python的环境要求为Python3.10.x或者Python3.11.x,如果环境中的Python3.10.x不是默认版本,需要参考如下方法添加环境变量(Python路径根据实际路径进行修改)。
    export LD_LIBRARY_PATH=/usr/local/python3.10.13/lib:$LD_LIBRARY_PATH
    export PATH=/usr/local/python3.10.13/bin:$PATH

操作步骤

  1. 以安装用户进入MindIE安装目录。
    cd {MindIE安装目录}/latest
  2. 执行以下命令,修改软件安装文件用户,以准备安装用户和运行用户创建的安装用户为例。
    chown -R username:username mindie-llm
  3. 执行以下命令,修改软件安装文件权限。
    chmod 750 mindie-llm
    chmod -R 500 mindie-llm/bin
    chmod -R 550 mindie-llm/include
    chmod -R 550 mindie-llm/lib
  4. 切换到运行用户,加载环境变量。
    su HwHiAiUser
    source mindie-llm/set_env.sh