使用步骤

本节使用ResNet50模型为样例，展示在线推理的使用步骤。用户可根据自己的实际情况使用自己所需的模型、数据集、修改代码和参数。

1. 生成模型训练权重文件。

   打开ModelZoo中ResNet-PyTorch详情页，下载模型文件，根据该页面的README完成模型训练，生成权重文件。

2. 编辑推理脚本。

   创建“resnet50_infer_for_pytorch.py”模型脚本文件，并写入样例代码。单卡场景请写入单卡场景样例代码，多卡场景请写入多卡场景样例代码。

3. 执行推理。

   参考环境变量配置设置环境变量，请用户自行准备数据集并执行命令进行推理。

   • 单卡场景。

     python3 resnet50_infer_for_pytorch.py \
         --data /data/imagenet \
         --npu 7 \
         --resume ./checkpoint.pth.tar    # ./checkpoint.pth.tar为示例预训练模型文件路径

   • 多卡场景。

     python3 resnet50_infer_for_pytorch.py --data /data/imagenet/ --resume ./checkpoint.pth.tar --world_size 1 --rank 0 --amp
     # ./checkpoint.pth.tar为示例预训练模型文件路径

   

   • 上述为样例输入，用户可根据实际修改传入的参数。
   • 在进行推理应用时，应尽量保证应用在生命周期内不频繁初始化。推理模式通过模型model.eval()进行设置，并且推理过程要在with torch.no_grad():代码分支下运行。