在300I Duo 推理卡上面使用mindieservice_daemon启动模型推理,提示inputName path is invalid by: The path realpath parsing failed
收藏回复举报
在300I Duo 推理卡上面使用mindieservice_daemon启动模型推理,提示inputName path is invalid by: The path realpath parsing failed
t('forum.solved') 已解决
发表于2024-09-29 11:53:13
0 查看

修改配置文件:/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json:

"ModelDeployParam": { 

    "maxSeqLen": 2560, 

    "npuDeviceIds": [ 

        [0, 1, 2, 3] 

    ], 

    "ModelParam": [{ 

        "modelInstanceType": "Standard", 

        "modelName": "qwen-14b", 

        "modelWeightPath": "/home/QWEN-14b", 

        "worldSize": 4, 

        "cpuMemSize": 5, 

        "npuMemSize": 16, 

        "backendType": "atb" 

    }] 

}主要修改

 "modelName":和, "modelWeightPath",其他保持默认值。/home/QWEN-14b 是我从huggingface下载的模型文件,里面包含了权重文件。

修改完之后,使用./mindieservice_daemon启动

报错:

%E8%B7%AF%E5%BE%84%E9%97%AE%E9%A2%98.png

这个是因为?

我要发帖子