deepseek-R1 70本地部署dify出错
收藏回复举报
deepseek-R1 70本地部署dify出错
t('forum.solved') 已解决
发表于2025-08-02 02:05:54
0 查看

我的硬件(2×Kunpeng 920 CPU + 8张Atlas 300I DUO 96GB显存 + 512GB DDR4内存,硬盘2块1.96T的固态)操作系统是openEuler-22.03-LTS-SP4-aarch64。本地部署和deepseek-r1-70B,用的2.0.RC2-300I-Duo-py311-openeuler24.03-lts镜像,部署已经成功。

测试(VLLM接口)

curl 127.0.0.1:1025/generate -d '{
"prompt": "What is deep learning?",
"max_tokens": 32,
"stream": false,
"do_sample":true,
"temperature": 0.6,
"top_p": 0.95,
"model": "llama"
}'

也成功了。局域网的另一台电脑本地部署dify(windows11操作系统),通过OpenAI-API-Compatible接入模型时出错

cke_13335.png

PS C:\Users\Administrator> Test-NetConnection 10.213.111.21 -Port 1025

ComputerName : 10.213.111.21

RemoteAddress : 10.213.111.21

RemotePort : 1025

InterfaceAlias : 以太网

SourceAddress : 10.213.111.27

TcpTestSucceeded : True

请教一下这个如何解决!!!

我要发帖子