昇腾故障案例详情页

ais_bench工具执行动态shape模型推理失败

更新时间: 2024/02/20

暂无评分

问题信息

问题来源产品大类产品子类关键字
官方模型推理benchmarkais_bench、benchmark

问题现象描述

使用ais_bench工具执行动态shape模型时推理失败,出现Model execute failed,具体报错信息如下:

原因分析及排查方法

出现Model execute failed报错的原因有很多,需要开启debug日志,进行进一步分析:

export ASCEND_SLOG_PRINT_TO_STDOUT=1
export ASCEND_GLOBAL_LOG_LEVEL=0

执行推理脚本,并将打平日志重定向到debug.log中,执行grep ERROR debug.log出现如下信息:

报错原因:通过上述debug日志,可以看出推理失败的原因是,为模型开辟的输出空间不足。

解决措施

动态shape模型,输出数据占内存大小未知,使用ais_bench工具时,需要预估一个较合适的大小,配置--outputSize参数。

具体参数设置可以参考《ais_bench推理工具使用指南》。

本页内容

该页面对您有帮助吗?
我要评分