八卡atlas300i duo卡部署deepseek 70B模型,拉起mindie服务后只有四张卡被占用
收藏回复举报
八卡atlas300i duo卡部署deepseek 70B模型,拉起mindie服务后只有四张卡被占用
t('forum.solved') 已解决
新人帖
发表于2025-05-30 11:56:33
0 查看

mindie配置文件config信息

"BackendConfig" : {

        "backendName" : "mindieservice_llm_engine",

        "modelInstanceNumber" : 1,

        "npuDeviceIds" : [[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]],

        "tokenizerProcessNumber" : 32,

        "multiNodesInferEnabled" : false,

        "multiNodesInferPort" : 1120,

...

                   "modelInstanceType" : "Standard",

                    "modelName" : "dsk70b",

                    "modelWeightPath" : "/home/DeepSeek-R1-Distill-Llama-70B",

                    "worldSize" : 16,

                    "cpuMemSize" : 5,

我要发帖子