华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
目前是前四张卡部的大模型,然后第五张卡用mis-tei容器部的嵌入模型,第六张卡重排模型,这也太浪费了,这两个模型占不了多少显存
都挂同一张卡的话先启动的容器正常运行 后启动的容器会报错
然后我想设置共享
npu-smi set -t device-share -i 1 -c 0 -d 1
但显示
This device does not support setting device-share.
服务器是800I 请问有没有什么方案可以解决我的需求
本帖最后由 匿名用户 于 2025/09/03 16:05:59 编辑
我要发帖子
目前是前四张卡部的大模型,然后第五张卡用mis-tei容器部的嵌入模型,第六张卡重排模型,这也太浪费了,这两个模型占不了多少显存
都挂同一张卡的话先启动的容器正常运行 后启动的容器会报错
然后我想设置共享
但显示
服务器是800I 请问有没有什么方案可以解决我的需求