自打2.0的rc版本出来后,一直打补丁用qwen3-32b。千等万等,mindie的2.1rc1版本8月初发布了,第一时间想部署qwen3的moe新模型--Qwen3-235B-A22B-Thinking-2507(因为我们需要用带思考的模型),看帮助里面说也支持moe了。
不过实际测试中发现用不了,情况如下:
1.我的机器是2块300i-duo的卡,相当于一共有192G显存。显卡的驱动和固件都升级到7月份最新版了。物理机有128G的内存,swap空间有512G(原因后面有说)
2.第一次,用最新的2.1rc版本启动后,物理内存一直上涨到100%,然后oom(之前同一台机器用qwen3-32b很顺利,内存用不满)
3.我知道moe模型相对来说对资源销毁会大于稠密模型,所以启用swap,并最终设置到了512(因为之前设置128和256g,启动mindie一样会爆掉)
4.再次启动mindie后,内存100%,swap跑到了400多G,然后系统就卡死了。。。
我也尝试了vllm-ascend最新的v0.9.2rc1,启动报错后在社区发现目前还不支持用300i-duo的卡跑千问的moe模型。。。
求助各位大神,谁用300i-duo的卡能跑通Qwen3-235B-A22B呀?官方的mindie我这里测试不过,社区的vllm-ascend还不支持,太让我们用国产硬件的同学伤心了,最关键的好像除了这个论坛,没有别的地方能咨询,貌似全世界就没几个人用昇腾的显卡做研究。。。



