硬件:A300I Duo
HDK版本:24.1.rc2
CANN版本:8.0.rc2
MindIE:1.0.RC2
python 3.10.14
torch 2.1.0+cpu
torch-npu 2.1.0.post6
transformers 4.30.0
tiktoken 0.5.2
einops 0.7.0
TeleChat-7b 大模型权重链接:https://modelscope.cn/models/teleai/telechat-7b
问题描述:
1、依照MindIE官网文档进行相关软件部署,并参考此链接进行单机推理配置进行修改,运行qwen1.5大模型服务化推理正常
2、修改为星辰语义大模型路径后,运行./bin/mindieservice_daemon报错,截图如下:

3、查看mindie-serveice目录底下的logs日志,以及~/ascend/log底下的日志,截图如下:

4、打开所有日志打屏,包括运行时日志、加速库日志、模型库日志、Python日志,查看报错信息
export ASCEND_SLOG_PRINT_TO_STDOUT=1
export ATB_LOG_TO_STDOUT=1
export ASDOPS_LOG_TO_STDOUT=1
export OCK_LOG_TO_STDOUT=1
export MIES_PYTHON_LOG_TO_STDOUT=1

5、初步分析,TeleChat Github官网的requirements.txt torch版本为1.13.1,目前怀疑torch版本不配套导致此问题出现

求助点:
1、现在想使用torch 1.11.0配套的atb-models进行部署(包名如下),但在hiascend进行申请了几次权限也没有答复,无法拿到对应软件包
Ascend-mindie-atb-models_1.0.RC2_linux-aarch64_torch1.11.0-abi0.tar.gz
2、或者有别的途径可以解决此问题?
硬件:A300I Duo
HDK版本:24.1.rc2
CANN版本:8.0.rc2
MindIE:1.0.RC2
python 3.10.14
torch 2.1.0+cpu
torch-npu 2.1.0.post6
transformers 4.30.0
tiktoken 0.5.2
einops 0.7.0
TeleChat-7b 大模型权重链接:https://modelscope.cn/models/teleai/telechat-7b
问题描述:
1、依照MindIE官网文档进行相关软件部署,并参考此链接进行单机推理配置进行修改,运行qwen1.5大模型服务化推理正常
2、修改为星辰语义大模型路径后,运行./bin/mindieservice_daemon报错,截图如下:
3、查看mindie-serveice目录底下的logs日志,以及~/ascend/log底下的日志,截图如下:
4、打开所有日志打屏,包括运行时日志、加速库日志、模型库日志、Python日志,查看报错信息
export ASCEND_SLOG_PRINT_TO_STDOUT=1
export ATB_LOG_TO_STDOUT=1
export ASDOPS_LOG_TO_STDOUT=1
export OCK_LOG_TO_STDOUT=1
export MIES_PYTHON_LOG_TO_STDOUT=1
5、初步分析,TeleChat Github官网的requirements.txt torch版本为1.13.1,目前怀疑torch版本不配套导致此问题出现
求助点:
1、现在想使用torch 1.11.0配套的atb-models进行部署(包名如下),但在hiascend进行申请了几次权限也没有答复,无法拿到对应软件包
Ascend-mindie-atb-models_1.0.RC2_linux-aarch64_torch1.11.0-abi0.tar.gz
2、或者有别的途径可以解决此问题?