华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
背景:
在 Atlas 300V 上部署了 qwen2_5_vl_3B 可以正常启动, 但是切换到 Atlas 300I PRO 上部署卡住没反应,两张卡安装在一台服务器上,使用vllm推理框架,启动命令除了 卡号 没其他区别
问题:
Atlas 300I PRO 和 Atlas 300V 卡可以一起用作推理吗
我要发帖子
背景:
在 Atlas 300V 上部署了 qwen2_5_vl_3B 可以正常启动, 但是切换到 Atlas 300I PRO 上部署卡住没反应,两张卡安装在一台服务器上,使用vllm推理框架,启动命令除了 卡号 没其他区别
问题:
Atlas 300I PRO 和 Atlas 300V 卡可以一起用作推理吗