MindSpore报错Refer to Ascend Error Message
2024/02/22
680
问题信息
问题来源 | 产品大类 | 产品子类 | 关键字 |
---|---|---|---|
官方 | 模型训练 | MindSpore | 无 |
问题现象描述
MindSpore运行时报通用性错误,RuntimeError: Run task for graph:kernel_graph_x error! The details refer to 'Ascend Error Message', 无实质性信息。
原因分析
该报错为通用性报错,系MindSpore拦截Cann错误抛出的错误。需要配置Cann日志级别为1来获取实质报错信息。
此类错误通常为环境配置,参数配置导致,不排除算子层面错误导致。
排查方法
1.配置日志相关环境变量。
export ASCEND_GLOBAL_LOG_LEVEL=1 #设置日志级别为1 export ASCEND_SLOG_PRINT_TO_STDOUT=1 #开启日志打屏(可选)
2.重跑复现报错。抓取ERROR字样获取算子报错码和报错信息。
3.案例中开启环境变量后,发现是AICPU报错,module_type=E39999, msg: open so failed. 是未使用配套软件导致。
解决措施
1. 优先排查环境配置,是否是配套环境。如不是,升级尝试修复。
2. 如果并非环境配置导致的问题,或是特殊原因无法变更环境变量。通过报错码自查CANN手册尝试自己解决,或通过算子支撑表协同算子华为工程师帮助。