在300I duo卡上用MindIE1.0.RC3版本推理Qwen1.5-14B-chat报错
收藏回复举报
在300I duo卡上用MindIE1.0.RC3版本推理Qwen1.5-14B-chat报错
t('forum.solved') 已解决
新人帖
发表于2024-11-20 14:48:05
0 查看

问题:

300I duo卡上用MindIE1.0.RC3版本推理Qwen1.5-14B-chat时启动服务报错。
cke_1900.png

mindie配置:

cke_19623.png

cann版本:

cke_8841.png

推理卡:

cke_9245.png

plog日志:
[ERROR] RUNTIME(9939,python3.11):2024-11-20-06:52:43.660.837 [npu_driver.cc:1196]10268 DevMemAllocHugePageManaged:[FINAL][FINAL][drv api] halMemAlloc failed:size=125829120(Byte), type=17, moduleId=3, drvFlag=216172782156907521, drvRetCode=6, device_id=1! 

[ERROR] RUNTIME(9939,python3.11):2024-11-20-06:52:43.782.354 [npu_driver.cc:1273]10268 DevMemAllocManaged:[FINAL][FINAL][drv api] halMemAlloc failed:size=125829120(Byte), type=17, moduleId=3, drvFlag=216172782156776449, drvRetCode=6, device_id=1! 

[ERROR] RUNTIME(9939,python3.11):2024-11-20-06:52:43.782.363 [api_error.cc:1006]10268 DevMalloc:[FINAL][FINAL]Device malloc failed, size=125829120(Byte), type=17. 

[ERROR] RUNTIME(9939,python3.11):2024-11-20-06:52:43.782.377 [api_c_memory.cc:28]10268 rtMalloc:[FINAL][FINAL]ErrCode=207001, desc=[driver error:out of memory], InnerCode=0x7020016 

cke_12046.png

环境变量设置打印日志后输出信息见附件run.log
export ASDOPS_LOG_LEVEL=DEBUG,  export ASDOPS_LOG_TO_STDOUT=1

本帖最后由 匿名用户2024/11/20 15:16:53 编辑

我要发帖子