华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
目标机器:Atlas 800I A2 推理服务器(64G) 8卡
需求:
启动官方mindie2.1 rc2镜像时,只是用两张卡,且每张卡的显存上限控制在32g
可以是启动模型的时候控制在32g以下,也可以在启动镜像时就限制好
现在试过mindie的npuMemSize参数,也试过大模型推荐的一些环境变量参数,但均无效,
想有一个参数,能精确将每张卡的显存上限控制在31g到32g之间,类似于VLLM的gpu-memory-utilization
我要发帖子
目标机器:Atlas 800I A2 推理服务器(64G) 8卡
需求:
启动官方mindie2.1 rc2镜像时,只是用两张卡,且每张卡的显存上限控制在32g
可以是启动模型的时候控制在32g以下,也可以在启动镜像时就限制好
现在试过mindie的npuMemSize参数,也试过大模型推荐的一些环境变量参数,但均无效,
想有一个参数,能精确将每张卡的显存上限控制在31g到32g之间,类似于VLLM的gpu-memory-utilization