配置MindIE LLM

前提条件

软件包文件清单

MindIE LLM组件包含的文件如表1所示。

表1 文件清单

目录/文件

文件

说明

bin

mindie_llm-{version}-py3-none-any.whl

MindIE LLM安装包。

lib

_cpu_logits_handler.so

依赖的so文件。

_memory_bridge.so

libmindie_llm_utils.so

set_env.sh

-

设置环境变量脚本。

version.info

-

版本信息。

操作步骤

  1. 执行以下命令,修改软件安装文件用户,以准备安装用户创建的安装用户为例。

    chown -R username:username mindie_llm

  2. 执行以下命令,修改软件安装文件权限。

    chmod 750 mindie-llm
    chmod -R 550 mindie-llm/bin
    chmod -R 550 mindie-llm/lib

  3. 切换到运行用户,加载环境变量。

    su HwHiAiUser
    source mindie-llm/set_env.sh