mindformers中SummaryMonitor无法使用
收藏回复举报
mindformers中SummaryMonitor无法使用
t('forum.solved') 已解决
发表于2024-11-01 16:32:03
0 查看

mindspore 2.3.1 mindformers 1.2.0 mindinsight 2.3.1  800T A2 8*64G
Ascend910-npu-driver_24.1.rc2版本驱动  CANN 8.0.RC2

目前是考虑使用mindinsight可视化SummaryMonitor数据,但是运行中遇到bug,
在微调qwen1.5-7b模型时,如果yaml中加入SummaryMonitor

# callbacks
callbacks:
  - type: MFLossMonitor
  - type: CheckpointMonitor
    prefix: "qwen2"
    save_checkpoint_steps: 2000
    keep_checkpoint_max: 1
    integrated_save: False
    async_save: False
  - type: ObsMonitor
  - type: SummaryMonitor
    keep_default_action: True

会报如下错误,如果不加SummaryMonitor,则不会报错,报错截图如下:

screenshot_6.png

请问这个该如何调整,能够可视化训练过程中的loss?这个SummaryMonitor相关代码虽然mindformer中有,但是所有的LLM相关的yaml中没有见到过实际使用的案例,你们发布mindformer的时候有自测过这个功能吗? 我试过mindformer1.2.0和mindformer1.3.0都不行, mindspore 2.3.0和mindspore2.4.0也试过,都是这个问题

本帖最后由 匿名用户 于 2024/11/01 16:36:04 编辑

我要发帖子