华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
镜像版本:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
如果在ModelConfig中添加多组单个测试成功的模型,会报应该只能有一个。
应该如何配置,才可以在一个容器中用MindIE-service起多个模型,如何按照一个容器起一个,那关于卡的分配该怎么处理,例如嵌入模型的占用很少,但是需要占用一张卡之类的情况。
我要发帖子
镜像版本:1.0.T71-800I-A2-py311-ubuntu22.04-arm64
如果在ModelConfig中添加多组单个测试成功的模型,会报应该只能有一个。
应该如何配置,才可以在一个容器中用MindIE-service起多个模型,如何按照一个容器起一个,那关于卡的分配该怎么处理,例如嵌入模型的占用很少,但是需要占用一张卡之类的情况。