昇腾论坛

服务器npu卡使用300I pro，操作系统为kylinv10，通过mis-tei部署bge-m3和bge-reranker-v2-m3后，dify调用bge-m3和bge-reranker-v2-m3。发现300i pro卡显存存在无法释放问题，一直在升高，最后出现显存不足导致召回失败。需要重启bge-m3和bge-reranker-v2-m3释放显存才能解决。这个问题需要怎么优化？

[root@node2 ~]# npu-smi info
+--------------------------------------------------------------------------------------------------------+
| npu-smi 25.0.rc1.1                               Version: 25.0.rc1.1                                   |
+-------------------------------+-----------------+------------------------------------------------------+
| NPU     Name                  | Health          | Power(W)     Temp(C)           Hugepages-Usage(page) |
| Chip    Device                | Bus-Id          | AICore(%)    Memory-Usage(MB)                        |
+===============================+=================+======================================================+
| 2       310P3                 | OK              | NA           42                8904  / 8904          |
| 0       0                     | 0000:02:00.0    | 0            19720/ 21527                            |
+===============================+=================+======================================================+
+-------------------------------+-----------------+------------------------------------------------------+
| NPU     Chip                  | Process id      | Process name             | Process memory(MB)        |
+===============================+=================+======================================================+
| 2       0                     | 481960          | python-text-emb          | 12641                     |
| 2       0                     | 1086719         | python-text-emb          | 5332                      |
+===============================+=================+======================================================+

docker run -u root     -e TEI_NPU_DEVICES=2     -e MAX_CLIENT_BATCH_SIZE=128     -e AUTO_TRUNCATE=true     -itd     --name=bge-reranker-docker     --net=host     --privileged=true     -e HOME=/home/HwHiAiUser     -v ./:/home/HwHiAiUser/model     -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi     -v /usr/local/Ascend/driver:/usr/local/Ascend/driver     swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.0.RC1-300I-Duo-aarch64 BAAI/bge-reranker-v2-m3 192.168.230.12 5340

docker run -u root -e TEI_NPU_DEVICES=2 -e MAX_CLIENT_BATCH_SIZE=1024 -e AUTO_TRUNCATE=true -itd --name=bge-m3-docker --net=host --privileged=true -e HOME=/home/HwHiAiUser -v ./:/home/HwHiAiUser/model -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi -v /usr/local/Ascend/driver:/usr/local/Ascend/driver swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:7.0.RC1-300I-Duo-aarch64 BAAI/bge-m3 192.168.230.12 5341

关于昇腾

新闻与活动

交流与资讯

支持与服务

开源社区