昇腾论坛

硬件：使用4张910b2

使用镜像：2.0.RC1-800I-A2-py311-openeuler24.03-lts

模型权重：qwen3-32b

附件下载后将扩展名改为.tar.gz

步骤：

1、下载docker镜像并运行，进入docker安装transformers 4.51.0。

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509112600.png

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509112604.png

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509112608.png

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509112615.png

2、用附件【atb-models.tar.gz】替换docker镜像中的的【/usr/local/Ascend/atb-models】目录。

具体方法：

将【/usr/local/Ascend/atb-models】改名，这里改为【atb-models.bak】。

将附件【atb-models.tar.gz】解压，把解压后的【atb-models】复制到【/usr/local/Ascend/】。

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509112939.png

3、拉起服务化推理，日志出现【Daemon start success!】后服务成功启动。

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509113359.png

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509113628.png

%E5%BE%AE%E4%BF%A1%E5%9B%BE%E7%89%87_20250509113643.png