图编译模式使用流程

图编译模式使用流程

在本节中，您将通过一个ResNet50的图片分类应用，了解调用MindIE RT图编译模式使用的全过程，包括创建网络、模型优化、以及落盘优化后模型，编写一个优化模型的总体步骤，如图1所示。

创建网络

当用户获得了一个已经训练好的网络模型后，需要将该模型转换成MindIE RT中的Network，用户可以通过使用Network提供的Layer添加接口，逐个算子搭建Network：

Dims inputShape({16, 3, 224, 224});    
Tensor *inputTensor = network->AddInput("input1", DataType::FLOAT, inputShape);
int32_t numOutputMap = 64;
Dims kernelHW({7, 7});
std::vector<float> weight_data(64 * 3 * 7 * 7);
std::vector<float> bias_data(64);
WeightsBuf weightBuf {DataType::FLOAT, weight_data.data(), weight_data.size()};
WeightsBuf biasBuf {DataType::FLOAT, bias_data.data(), bias_data.size()};
ConvolutionLayer *convLayer = network->AddConvolutionLayer(inputTensor, numOutputMap, kernelHW, weightBuf, biasBuf); // network组网使用样例

生成模型

使用builder生成模型，从Network中生成出可以在昇腾AI处理器上部署的模型对象ModelData，可以选择是否将模型序列化并落盘。在builder过程中会对原始训练好的模型进行多级别的编译优化，然后生成昇腾AI处理器可以执行的代码，最终存储到ModelData中，在config选项中可以配置多个编译选项，来进行定制化编译。详情请查看生成模型。

C++：

auto data = builder->BuildModel(network, config);  // 生成模型
std::ofstream fout("./resnet50.om", std::ios::binary);  // 保存模型为om格式
fout.write((char*)modelData.data.get(), modelData.size);
fout.close();

部署模型

用户可参考《CANN AscendCL应用软件开发指南 (C&C++)》或《CANN AscendCL应用软件开发指南 (Python)》，通过调用AscendCL的推理接口部署推理模型。