mindie部署非ABT MODELS模型
收藏回复举报
mindie部署非ABT MODELS模型
t('forum.solved') 已解决
发表于2025-05-23 13:42:57
0 查看

容器内配置MindIE,已经在容器内按官方教程安装依赖、CANN、Pytorch且测试成功,没有安装ABT MODELS(官方的abt好像仅支持镜像下载,没有看到压缩包之类的),因此想要通过修改config的形式部署DeepSeek-R1-Distill-Qwen-32B,对官方的config文件进行了如下修改:

1、"httpsEnabled" : false,(想先跑起来再管其他的东西)

2、"npuDeviceIds" : [[0,1,2,3,4,5,6,7]], 设置为八卡,nup-smi info为八卡

3、

"ModelConfig" : [

                {

                    "modelInstanceType" : "Standard",

                    "modelName" : "deepseek_r1_qwen32b",

                    "modelWeightPath" : "/root/model/DeepSeek-R1-Distill-Qwen-32B",

                    "worldSize" : 8,

                    "cpuMemSize" : 5,

                    "npuMemSize" : -1,

                    "backendType" : "ms",

                    "trustRemoteCode" : false

                }

            ],

其中modelWeightPath为容器内模型存放地址,模型modelscope直接下载的,修改backendType为ms,好像可以不采用abt算子加速,其他未作修改。

疑问:

1、已经按照官方文档修改权限,但是root@bms-test:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon 直接运行会报错权限问题:
root@bms-test:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon 

[WARNING] Check path: config.json failed, by:Check path: config.json failed, by: Check Other group permission failed: Current permission is 4, but required no greater than 0. Required permission: 750, but got 644
2、直接指定config文件:./bin/mindieservice_daemon --config /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json 报错:Segmentation fault (core dumped)
请问是我配置文件出错还是有些东西没有执行?求大佬支招!!!!

我要发帖子