mindie启动官方镜像时如何限制镜像内每张卡的显存上限
收藏回复举报
mindie启动官方镜像时如何限制镜像内每张卡的显存上限
t('forum.solved') 已解决
发表于2025-11-17 14:00:37
0 查看

目标机器:Atlas 800I A2 推理服务器(64G)  8卡

需求:

启动官方mindie2.1 rc2镜像时,只是用两张卡,且每张卡的显存上限控制在32g

可以是启动模型的时候控制在32g以下,也可以在启动镜像时就限制好

现在试过mindie的npuMemSize参数,也试过大模型推荐的一些环境变量参数,但均无效,

想有一个参数,能精确将每张卡的显存上限控制在31g到32g之间,类似于VLLM的gpu-memory-utilization

我要发帖子