麻烦大佬推荐一个针对 8*64G 服务器配置部署 deeoseek-32b 的方案
收藏回复举报
麻烦大佬推荐一个针对 8*64G 服务器配置部署 deeoseek-32b 的方案
t('forum.solved') 已解决
发表于2025-05-25 13:46:31
0 查看

买了一台atlas800I服务器,有8张910B4(64G)算卡。我想通过华为推出的微服务docker镜像部署deepseek32b。但现在官网提供镜像都是针对32g显卡部署。有么有针对64G部署的镜像?


比方用镜像部署deepseek-32g,华为提供了环境变量参数:-e MIS_CONFIG=atlas800ia2-4x32gb-bf16-vllm-default 。可以指定使用4张32g的卡跑起来。


但我现在npu服务器单卡是64g的,用这种模式跑会浪费性能。想问问有没有适配64g版本的微服务。理论上用2张64g的卡也可以跑起来这个模型。


能不能给一个这样的镜像,如果暂时不行的话,能不能给一个用mindie方式部署,针对DS-32b模型的优化过的配置文件(config.json)

我要发帖子