DEEPSEEK 多机推理报错
收藏回复举报
DEEPSEEK 多机推理报错
t('forum.solved') 已解决
发表于2025-03-19 15:06:24
0 查看
{ 

    "server_count":"4", 

    "server_list":[ 

        { 

            "device":[ 

                { 

                    "device_id":"0", 

                    "device_ip":"192.168.0.10", 

                    "rank_id":"0" 

                }, 

                { 

                    "device_id":"1", 

                    "device_ip":"192.168.0.11", 

                    "rank_id":"1" 

                }, 

                { 

                    "device_id":"2", 

                    "device_ip":"192.168.0.12", 

                    "rank_id":"2" 

                }, 

                { 

                    "device_id":"3", 

                    "device_ip":"192.168.0.13", 

                    "rank_id":"3" 

                }, 

                { 

                    "device_id":"4", 

                    "device_ip":"192.168.0.14", 

                    "rank_id":"4" 

                }, 

                { 

                    "device_id":"5", 

                    "device_ip":"192.168.0.15", 

                    "rank_id":"5" 

                }, 

                { 

                    "device_id":"6", 

                    "device_ip":"192.168.0.16", 

                    "rank_id":"6" 

                }, 

                { 

                    "device_id":"7", 

                    "device_ip":"192.168.0.17", 

                    "rank_id":"7" 

                } 

            ], 

            "server_id":"10.3.0.112", 

            "container_ip":"10.3.0.112" 

        }, 

        { 

            "device":[ 

                { 

                    "device_id":"0", 

                    "device_ip":"192.168.0.20", 

                    "rank_id":"8" 

                }, 

                { 

                    "device_id":"1", 

                    "device_ip":"192.168.0.21", 

                    "rank_id":"9" 

                }, 

                { 

                    "device_id":"2", 

                    "device_ip":"192.168.0.22", 

                    "rank_id":"10" 

                }, 

                { 

                    "device_id":"3", 

                    "device_ip":"192.168.0.23", 

                    "rank_id":"11" 

                }, 

                { 

                    "device_id":"4", 

                    "device_ip":"192.168.0.24", 

                    "rank_id":"12" 

                }, 

                { 

                    "device_id":"5", 

                    "device_ip":"192.168.0.25", 

                    "rank_id":"13" 

                }, 

                { 

                    "device_id":"6", 

                    "device_ip":"192.168.0.26", 

                    "rank_id":"14" 

                }, 

                { 

                    "device_id":"7", 

                    "device_ip":"192.168.0.27", 

                    "rank_id":"15" 

                } 

            ], 

            "server_id":"10.3.0.162", 

            "container_ip":"10.3.0.162" 

        }, 

    { 

            "device":[ 

                { 

                    "device_id":"0", 

                    "device_ip":"192.168.0.30", 

                    "rank_id":"16" 

                }, 

                { 

                    "device_id":"1", 

                    "device_ip":"192.168.0.31", 

                    "rank_id":"17" 

                }, 

                { 

                    "device_id":"2", 

                    "device_ip":"192.168.0.32", 

                    "rank_id":"18" 

                }, 

                { 

                    "device_id":"3", 

                    "device_ip":"192.168.0.33", 

                    "rank_id":"19" 

                }, 

                { 

                    "device_id":"4", 

                    "device_ip":"192.168.0.34", 

                    "rank_id":"20" 

                }, 

                { 

                    "device_id":"5", 

                    "device_ip":"192.168.0.35", 

                    "rank_id":"21" 

                }, 

                { 

                    "device_id":"6", 

                    "device_ip":"192.168.0.36", 

                    "rank_id":"22" 

                }, 

                { 

                    "device_id":"7", 

                    "device_ip":"192.168.0.37", 

                    "rank_id":"23" 

                } 

            ], 

            "server_id":"10.3.0.163", 

            "container_ip":"10.3.0.163" 

        }, 

    { 

            "device":[ 

                { 

                    "device_id":"0", 

                    "device_ip":"192.168.0.40", 

                    "rank_id":"24" 

                }, 

                { 

                    "device_id":"1", 

                    "device_ip":"192.168.0.41", 

                    "rank_id":"25" 

                }, 

                { 

                    "device_id":"2", 

                    "device_ip":"192.168.0.42", 

                    "rank_id":"26" 

                }, 

                { 

                    "device_id":"3", 

                    "device_ip":"192.168.0.43", 

                    "rank_id":"27" 

                }, 

                { 

                    "device_id":"4", 

                    "device_ip":"192.168.0.44", 

                    "rank_id":"28" 

                }, 

                { 

                    "device_id":"5", 

                    "device_ip":"192.168.0.45", 

                    "rank_id":"29" 

                }, 

                { 

                    "device_id":"6", 

                    "device_ip":"192.168.0.46", 

                    "rank_id":"30" 

                }, 

                { 

                    "device_id":"7", 

                    "device_ip":"192.168.0.47", 

                    "rank_id":"31" 

                } 

            ], 

            "server_id":"10.3.0.233", 

            "container_ip":"10.3.0.233" 

        } 

    ], 

    "status":"completed", 

    "version":"1.0" 

}  以上是我的ranktable.json 但是我运行多机推理 提示我以下报错

[2025-03-19 14:49:49,054] [2721] [281473430219712] [llm] [ERROR] [logging.py-50] : World size does not match with ranktable file 

[2025-03-19 14:49:49,055] [2721] [281473430219712] [llm] [ERROR] [logging.py-50] : Node num does not match with ranktable file

容器下都设置了

cke_54786.png

以下是运行命令

bash run.sh pa_bf16 full_CEval 5 1 deepseekv2 /deepseek/Deepseek-R1-bf16-hfd-w8a8/ /home/user/rank_table_file.json 16 2 0 10.3.0.112 

bash run.sh pa_bf16 full_CEval 5 1 deepseekv2 /deepseek/Deepseek-R1-bf16-hfd-w8a8/ /home/user/rank_table_file.json 16 2 8 10.3.0.112 

bash run.sh pa_bf16 full_CEval 5 1 deepseekv2 /deepseek/Deepseek-R1-bf16-hfd-w8a8/ /home/user/rank_table_file.json 16 2 16 10.3.0.112 

bash run.sh pa_bf16 full_CEval 5 1 deepseekv2 /deepseek/Deepseek-R1-bf16-hfd-w8a8/ /home/user/rank_table_file.json 16 2 24 10.3.0.112

 

我要发帖子