昇腾论坛

mindie2.1.rc1已经支持qwen3模型推理了，运行docker后安装依赖，即可直接拉起qwen3推理服务。

我使用2块910b测试成功。

2.1.rc1docker镜像下载：https://www.hiascend.com/developer/ascendhub/detail/af85b724a7e5469ebd7ea13c3439d48f

docker run -itd \
   --name=qwen3-32b \
   --net=host \
   --shm-size 500g \
   -e ASCEND_VISIBLE_DEVICES=0,1 \
   -v /etc/localtime:/etc/localtime:ro \
   -v /data1/Qwen3-32B:/data1/Qwen3-32B \
   swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts \
   bash

pip install -r /usr/local/Ascend/atb-models/requirements/models/requirements_qwen3.txt

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_2025-08-04_103532_153.png

关于昇腾

新闻与活动

交流与资讯

支持与服务

开源社区