not init while load ckpt, 同样的代码保存模型加载模型, 在 notebook 中运行成功, 在分布式脚本中加载不到, 请问如何解决
收藏回复举报
not init while load ckpt, 同样的代码保存模型加载模型, 在 notebook 中运行成功, 在分布式脚本中加载不到, 请问如何解决
t('forum.solved') 已解决
发表于2023-11-07 14:11:08
0 查看

环境: 鲲鹏920 + Ascend 910 + CentOS Linux release 7.9.2009 (AltArch) + python 3.7.5 + mindspore 2.1.0

在notebook中, 通过以下代码, 我已经成功的在训练中保存了模型

    ckpt_config = CheckpointConfig(save_checkpoint_steps=1, keep_checkpoint_max=20) 

    ckpt_callback = ModelCheckpoint(prefix='resnet50', directory='./ckpts', config=ckpt_config) 

    model.train(epoch_size, dataset, callbacks=[LossMonitor(1), ckpt_callback], dataset_sink_mode=True)

在notebook中, 通过以下代码, 我已经成功的加载了前面保存的模型

    model = resnet50() 

    param_dict = load_checkpoint('ckpts/best.ckpt') 

    load_param_into_net(model, param_dict)

相同的代码, 由 rank table 脚本方式运行时, 提示无法加载模型权值

cke_14539.png

请问什么原因如何解决

本帖最后由 匿名用户2023/11/07 14:55:54 编辑

我要发帖子