使用双卡300IPro进行DeepSeek-R1-Distill-Qwen-14B推理测试启动服务报错
收藏回复举报
使用双卡300IPro进行DeepSeek-R1-Distill-Qwen-14B推理测试启动服务报错
t('forum.solved') 已解决
发表于2025-02-26 10:37:52
0 查看

根据SOP进行稀疏量化和切分压缩均成功,执行对话测试成功,进行服务化推理,启动服务报错,参考网址:MindIE/DeepSeek-R1-Distill-Qwen-14B | 魔乐社区,对话测试结果

cke_3287.png

服务化测试启动服务报错截图如下:

cke_9295.png

cke_10557.png

cke_11340.png

我要发帖子