基于A300I Duo卡,使用MindIE 1.0.rc2 + torch_npu 2.1.0配套软件包,部署星辰语义 TeleChat-7B 服务化推理失败,需求助!
收藏回复举报
基于A300I Duo卡,使用MindIE 1.0.rc2 + torch_npu 2.1.0配套软件包,部署星辰语义 TeleChat-7B 服务化推理失败,需求助!
t('forum.solved') 已解决
发表于2024-08-29 18:13:55
0 查看

硬件:A300I Duo

HDK版本:24.1.rc2

CANN版本:8.0.rc2

MindIE:1.0.RC2

python 3.10.14

    torch                         2.1.0+cpu 

    torch-npu                     2.1.0.post6

    transformers                  4.30.0

    tiktoken                      0.5.2

    einops                        0.7.0

TeleChat-7b 大模型权重链接:https://modelscope.cn/models/teleai/telechat-7b

问题描述:

1、依照MindIE官网文档进行相关软件部署,并参考此链接进行单机推理配置进行修改,运行qwen1.5大模型服务化推理正常

2、修改为星辰语义大模型路径后,运行./bin/mindieservice_daemon报错,截图如下:

cke_54828.png

3、查看mindie-serveice目录底下的logs日志,以及~/ascend/log底下的日志,截图如下:

cke_53756.png

4、打开所有日志打屏,包括运行时日志、加速库日志、模型库日志、Python日志,查看报错信息

export ASCEND_SLOG_PRINT_TO_STDOUT=1 

export ATB_LOG_TO_STDOUT=1 

export ASDOPS_LOG_TO_STDOUT=1 

export OCK_LOG_TO_STDOUT=1 

export MIES_PYTHON_LOG_TO_STDOUT=1

cke_83663.png

5、初步分析,TeleChat Github官网的requirements.txt torch版本为1.13.1,目前怀疑torch版本不配套导致此问题出现

cke_114909.png

求助点:

1、现在想使用torch 1.11.0配套的atb-models进行部署(包名如下),但在hiascend进行申请了几次权限也没有答复,无法拿到对应软件包

Ascend-mindie-atb-models_1.0.RC2_linux-aarch64_torch1.11.0-abi0.tar.gz

2、或者有别的途径可以解决此问题?

本帖最后由 匿名用户2024/08/29 19:13:17 编辑

我要发帖子