我的硬件(2×Kunpeng 920 CPU + 8张Atlas 300I DUO 96GB显存 + 512GB DDR4内存,硬盘2块1.96T的固态)操作系统是openEuler-22.03-LTS-SP4-aarch64。本地部署和deepseek-r1-70B,用的2.0.RC2-300I-Duo-py311-openeuler24.03-lts镜像,部署已经成功。
测试(VLLM接口)
也成功了。局域网的另一台电脑本地部署dify(windows11操作系统),通过OpenAI-API-Compatible接入模型时出错

PS C:\Users\Administrator> Test-NetConnection 10.213.111.21 -Port 1025
ComputerName : 10.213.111.21
RemoteAddress : 10.213.111.21
RemotePort : 1025
InterfaceAlias : 以太网
SourceAddress : 10.213.111.27
TcpTestSucceeded : True
请教一下这个如何解决!!!
我的硬件(2×Kunpeng 920 CPU + 8张Atlas 300I DUO 96GB显存 + 512GB DDR4内存,硬盘2块1.96T的固态)操作系统是openEuler-22.03-LTS-SP4-aarch64。本地部署和deepseek-r1-70B,用的2.0.RC2-300I-Duo-py311-openeuler24.03-lts镜像,部署已经成功。
测试(VLLM接口)
curl 127.0.0.1:1025/generate -d '{ "prompt": "What is deep learning?", "max_tokens": 32, "stream": false, "do_sample":true, "temperature": 0.6, "top_p": 0.95, "model": "llama" }'也成功了。局域网的另一台电脑本地部署dify(windows11操作系统),通过OpenAI-API-Compatible接入模型时出错
PS C:\Users\Administrator> Test-NetConnection 10.213.111.21 -Port 1025
ComputerName : 10.213.111.21
RemoteAddress : 10.213.111.21
RemotePort : 1025
InterfaceAlias : 以太网
SourceAddress : 10.213.111.27
TcpTestSucceeded : True
请教一下这个如何解决!!!