MindSpore在GRAPH_MODE下初始化,报错提示当前的执行模式是禁用了任务下沉(TASK_SINK)
收藏回复举报
MindSpore在GRAPH_MODE下初始化,报错提示当前的执行模式是禁用了任务下沉(TASK_SINK)
发表于2023-10-12 11:18:51
0 查看

1 系统环境

硬件环境(Ascend/GPU/CPU): Ascend/GPU/CPU

MindSpore版本: mindspore=2.1.0

执行模式(PyNative/ Graph):Graph

Python版本: Python=3.9.7

操作系统平台: 不限

2 报错信息

2.1 问题描述

mindspore文档:https://mindspore.cn/tutorials/experts/zh-CN/r2.1/parallel/memory_offload.html

参考如上的mindspore文档,使用mindspore2.1环境,cann6.3,训练代码正常。

import mindspore

offload_config = {"offload_param":"cpu","auto_offload":False,"offload_cpu_size":"512GB","offload_disk_size":"1024GB","offload_path":"./offload/","host_mem_block_size":"1GB","enable_aio":True,"enable_pinned_mem":True}
mindspore.set_context(mode=mindspore.GRAPH_MODE,memory_offload="ON",max_device_memory="30GB")
mindspore.set_offload_context(offload_config=offload_config)

在代码中加上异构存储管理就提示RuntimeError: HCCL is initialized in GRAPH_MODE but current execution mode is GRAPH_MODE disable TASK_SINK. (HCCL(华为集群通信库)已经在图模式(GRAPH_MODE)下初始化,但当前的执行模式是禁用了任务下沉(TASK_SINK)的图模式)。

2.1 报错信息

RuntimeError: HCCL is initialized in GRAPH_MODE but current execution mode is GRAPH_MODE disable TASK_SINK.

3 根因分析

4 解决方案

******此处由用户填写******

包含文字方案和最终脚本代码

请将正确的脚本打包并上传附件

我要发帖子