atlas300i pro 卡都支持哪些大模型和镜像,我的总是出现错误
收藏回复举报
atlas300i pro 卡都支持哪些大模型和镜像,我的总是出现错误
t('forum.solved') 已解决
新人帖
发表于2025-03-21 11:26:52
0 查看

鲲鹏服务器+昇腾卡(Atlas 300I pro)搭建DeepSeek-R1-Distill-Qwen-7B

操作如下:

1、下载mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts镜像,进入镜像后npu-smi info 能正常显示NPU卡,torch,torch_npu,都安装成功

2、下载模型DeepSeek-R1-Distill-Qwen-7B,修改模型权重config.json中torch_dtype字段为float16,修改/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json配置,

npuDeviceIds:[0,1]

truncation:false

modelName:qwen2.5

modelWeightPath:/data/qpqw7b

worldSize:2

httpsEnabled" : false

进入/usr/local/Ascend/mindie/latest/mindie-service/bin

3、运行./mindieservice_daemon出现错误提示:

LLMInferEngine failed to init LLMInferModels

ERR: Failed to init endpoint! Please check the service log or console output.

4、请问怎么能够运行成功atlas300i pro 卡都支持哪些大模型和镜像,请说明一下,或者提供详细的操作文档。

5、出现问题页面的整屏截图或者日志信息;

image001.png

vim /data/dpqw7b/config.json

image003.png

vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

image004.png

image005.png

运行./mindieservice_daemon 出现错误提示

image007.png

查看日志vim /usr/local/Ascend/mindie/latest/mindie-service/logs/mindservice.log

image009.png

我要发帖子