下载
中文
注册
部署Service服务时,出现atb_llm.runner无法import报错

部署Service服务时,出现atb_llm.runner无法import报错

2025/03/24

32

暂无评分
我要评分

问题信息

问题来源产品大类关键字
官方模型推理部署、Service服务、atb_llm.runner

问题现象描述

部署Service服务时,出现atb_llm.runner无法import,如下图所示。

放大

原因分析

由于Python版本不是配套版本3.10,或者pip对应的Python版本不是目标版本3.10,找不到对应的包。可以通过python和pip -V查看对应的Python版本进行确认。

解决措施

  1. 使用以下命令打开bashrc文件。
    vim ~/.bashrc
  2. 在bashrc文件内添加如下环境变量,保存并退出。
    ## 例如系统使用3.10.13版本,安装目录位于/usr/local/python3.10.13
    export LD_LIBRARY_PATH=/usr/local/python3.10.13/lib:$LD_LIBRARY_PATH
    export PATH=/usr/local/python3.10.13/bin:$PATH
  3. 使用以下命令是环境变量生效。
    source ~/.bashrc
  4. 使用以下命令建立软链接。
    ln -s /usr/local/python3.10.13/bin/python3.10 /usr/bin/python
    ln -s /usr/local/python3.10.13/bin/pip3.10 /usr/bin/pip

本页内容