昇腾论坛

一、环境说明

OS：openEuler 22.03 LTS

NPU：Atlas 300I Duo * 2

CPU：海光（Hygon）C86-3G (OPN:3350) x86_64 8核16线程

驱动版本：Ascend-hdk-310p-npu-driver_25.5.t3.b001_linux-x86-64.run（原本使用Ascend-hdk-310p-npu-driver_25.3.rc1_linux-x86-64.run会出现NPU掉卡情况）

固件版本：Ascend-hdk-310p-npu-firmware_7.8.0.5.216.run

mis-tei镜像版本：swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.1.RC1-300I-Duo-x86_64

二、问题描述

使用docker运行mis-tei镜像：

docker run -itd --name qwen3-emb-4b -u root --net=host --ipc=host \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /home/HwHiAiUser/models:/home/HwHiAiUser/model \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/Ascend/add-ons/:/usr/local/Ascend/add-ons \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /usr/local/sbin/:/usr/local/sbin \
-v /var/log/npu/conf/slog/slog.conf:/var/log/npu/conf/slog/slog.conf \
-v /var/log/npu/slog/:/var/log/npu/slog \
-v /var/log/npu/profiling/:/var/log/npu/profiling \
-v /var/log/npu/dump/:/var/log/npu/dump -v /var/log/npu/:/usr/slog \
--entrypoint /home/HwHiAiUser/start.sh \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.1.RC1-300I-Duo-x86_64 \
Qwen3/Qwen3-Embedding-4B 0.0.0.0 8001

容器启动成功后查看容器日志显示报错：

/home/HwHiAiUser/start.sh: line 69: 160 Illegal instruction (core dumped) text-embeddings-router --model-id "${MODEL_DIR}/${MODEL_ID##*/}" --port "${LISTEN_PORT}" --hostname "${LISTEN_IP}"
报错截图：

请教一下各位大佬，有没有遇到过这个问题？或者有没有其他方式可以部署向量模型？

关于昇腾

新闻与活动

交流与资讯

支持与服务

开源社区