模型推理正常,./bin/mindieservice_daemon服务启动报错
收藏回复举报
模型推理正常,./bin/mindieservice_daemon服务启动报错
t('forum.solved') 已解决
新人帖
发表于2025-02-18 13:59:39
0 查看

镜像: swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

atb-models中按照配置运行InternVL2-40B,使用8张卡时候可以正常运行

但是修改config.json后,运行服务端时,有以下错误:

cke_540.png

- 尝试修改成4卡,8卡运行有同样问题

我要发帖子