买了一台atlas800I服务器,有8张910B4(64G)算卡。我想通过华为推出的微服务docker镜像部署deepseek32b。但现在官网提供镜像都是针对32g显卡部署。有么有针对64G部署的镜像?
比方用镜像部署deepseek-32g,华为提供了环境变量参数:-e MIS_CONFIG=atlas800ia2-4x32gb-bf16-vllm-default 。可以指定使用4张32g的卡跑起来。
但我现在npu服务器单卡是64g的,用这种模式跑会浪费性能。想问问有没有适配64g版本的微服务。理论上用2张64g的卡也可以跑起来这个模型。
能不能给一个这样的镜像,如果暂时不行的话,能不能给一个用mindie方式部署,针对DS-32b模型的优化过的配置文件(config.json)
买了一台atlas800I服务器,有8张910B4(64G)算卡。我想通过华为推出的微服务docker镜像部署deepseek32b。但现在官网提供镜像都是针对32g显卡部署。有么有针对64G部署的镜像?
比方用镜像部署deepseek-32g,华为提供了环境变量参数:-e MIS_CONFIG=atlas800ia2-4x32gb-bf16-vllm-default 。可以指定使用4张32g的卡跑起来。
但我现在npu服务器单卡是64g的,用这种模式跑会浪费性能。想问问有没有适配64g版本的微服务。理论上用2张64g的卡也可以跑起来这个模型。
能不能给一个这样的镜像,如果暂时不行的话,能不能给一个用mindie方式部署,针对DS-32b模型的优化过的配置文件(config.json)