容器内配置MindIE,已经在容器内按官方教程安装依赖、CANN、Pytorch且测试成功,没有安装ABT MODELS(官方的abt好像仅支持镜像下载,没有看到压缩包之类的),因此想要通过修改config的形式部署DeepSeek-R1-Distill-Qwen-32B,对官方的config文件进行了如下修改:
1、"httpsEnabled" : false,(想先跑起来再管其他的东西)
2、"npuDeviceIds" : [[0,1,2,3,4,5,6,7]], 设置为八卡,nup-smi info为八卡
3、
"ModelConfig" : [
{
"modelInstanceType" : "Standard",
"modelName" : "deepseek_r1_qwen32b",
"modelWeightPath" : "/root/model/DeepSeek-R1-Distill-Qwen-32B",
"worldSize" : 8,
"cpuMemSize" : 5,
"npuMemSize" : -1,
"backendType" : "ms",
"trustRemoteCode" : false
}
],
其中modelWeightPath为容器内模型存放地址,模型modelscope直接下载的,修改backendType为ms,好像可以不采用abt算子加速,其他未作修改。
疑问:
1、已经按照官方文档修改权限,但是root@bms-test:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon 直接运行会报错权限问题:
root@bms-test:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
[WARNING] Check path: config.json failed, by:Check path: config.json failed, by: Check Other group permission failed: Current permission is 4, but required no greater than 0. Required permission: 750, but got 644
2、直接指定config文件:./bin/mindieservice_daemon --config /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json 报错:Segmentation fault (core dumped)
请问是我配置文件出错还是有些东西没有执行?求大佬支招!!!!
容器内配置MindIE,已经在容器内按官方教程安装依赖、CANN、Pytorch且测试成功,没有安装ABT MODELS(官方的abt好像仅支持镜像下载,没有看到压缩包之类的),因此想要通过修改config的形式部署DeepSeek-R1-Distill-Qwen-32B,对官方的config文件进行了如下修改:
1、"httpsEnabled" : false,(想先跑起来再管其他的东西)
2、"npuDeviceIds" : [[0,1,2,3,4,5,6,7]], 设置为八卡,nup-smi info为八卡
3、
"ModelConfig" : [
{
"modelInstanceType" : "Standard",
"modelName" : "deepseek_r1_qwen32b",
"modelWeightPath" : "/root/model/DeepSeek-R1-Distill-Qwen-32B",
"worldSize" : 8,
"cpuMemSize" : 5,
"npuMemSize" : -1,
"backendType" : "ms",
"trustRemoteCode" : false
}
],
其中modelWeightPath为容器内模型存放地址,模型modelscope直接下载的,修改backendType为ms,好像可以不采用abt算子加速,其他未作修改。
疑问:
1、已经按照官方文档修改权限,但是root@bms-test:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon 直接运行会报错权限问题:
root@bms-test:/usr/local/Ascend/mindie/latest/mindie-service# ./bin/mindieservice_daemon
[WARNING] Check path: config.json failed, by:Check path: config.json failed, by: Check Other group permission failed: Current permission is 4, but required no greater than 0. Required permission: 750, but got 644
2、直接指定config文件:./bin/mindieservice_daemon --config /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json 报错:Segmentation fault (core dumped)
请问是我配置文件出错还是有些东西没有执行?求大佬支招!!!!