华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
镜像: swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
atb-models中按照配置运行InternVL2-40B,使用8张卡时候可以正常运行
但是修改config.json后,运行服务端时,有以下错误:
- 尝试修改成4卡,8卡运行有同样问题
我要发帖子
镜像: swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts
atb-models中按照配置运行InternVL2-40B,使用8张卡时候可以正常运行
但是修改config.json后,运行服务端时,有以下错误:
- 尝试修改成4卡,8卡运行有同样问题