执行训练过程中，用户可使用以下方法进行调试。

打点定位：由于PyTorch框架是异步执行框架，直接print可能无法准确定位问题所在位置，需要使用流同步接口辅助打点，该方法适用于问题定位场景。
```
print(torch.npu.synchronize(),"打点")

print(inputs.shape, inputs.dtype, inputs,storage().npu_format) #所需打印参数可根据实际情况变更
```

断点调试（pdb）：在代码中引入pdb模块，并运行set_trace函数触发调试器。
- 方法一：在需要设置断点的部分引入模块，脚本运行至此处会停留，通过在文本框中输入n执行下一行代码，输入p＋参数名可打印当前变量的值，更多参数介绍请参见pdb参数说明。
```
import pdb
pdb.set_trace()
```
- 方法二：在需要设置断点部分引入函数，脚本运行至此处会停留，使用方法同pdb模块。
```
breakpoint()
```
命令行调试（gdb）：主要功能为在程序中设置断点、监视变量、单步骤运行、运行时改变变量值、跟踪路径、线程切换。此方法主要针对coredump，可使用gdb调试core文件，打印堆栈。gdb工具使用请参考官方文档。
```
#调试core文件
gdb python3 core
```

Hook定位：该方法主要针对定位模型中某个module的报错，通常适用于正反向module的报错定位。在代码执行模型计算之前添加hook，定位到具体行后，打印所有shape、dtype、format后配合host日志辅助排查问题。

def hook_func(name, module):
    def hook_function(module, inputs, outputs):
        print(name)
    return hook_function

for name, module in model.named_modules():
    if module is not None:
        module.register_forward_hook(hook_func('[forward]:' + name, module))
        module.register_backward_hook(hook_func('[backward]:' + name, module))

训练调试