使用mindie部署qwen2-7B-instruct,回复出错且回复非常慢!
收藏回复举报
使用mindie部署qwen2-7B-instruct,回复出错且回复非常慢!
t('forum.solved') 已解决
发表于2025-02-17 14:01:55
0 查看
# 版本信息 

显卡:910B 

物理机系统: 

NAME="Kylin Linux Advanced Server" 

VERSION="V10 (Lance)" 

ID="kylin" 

VERSION_ID="V10" 

PRETTY_NAME="Kylin Linux Advanced Server V10 (Lance)" 

ANSI_COLOR="0;31" 

使用的docker镜像为:swr.cn-central-221.ovaijisuan.com/wh-aicc-fae/mindie:910a-ascend_23.0.0-cann_8.0.rc3-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.t65

python:3.10.15

PyTorch:2.1.0
在部署好模型文件后,自己写了个前端来调用openai的接口实现对话的。结果如下图:

cke_11950.gif
请问一下可能导致的原因是什么?

我要发帖子