SavedModel模型转换.om模型
简介
本章节主要介绍如何使用saved_model2om.py工具将训练保存的SavedModel格式的模型转换为.om格式的模型,在部署TF Serving时使用转换后的.om模型可以缩短编译时间从而提升TF Serving部署性能。
参数说明
参数 |
参数说明 |
取值示例 |
---|---|---|
--input_path |
|
/home/HwHiAiUser/inputpath/model |
--output_path |
|
/home/HwHiAiUser/outputpath/model |
--input_shape |
|
input:16,224,224,3 |
--soc_version |
|
Ascend910 |
--profiling |
|
1 |
--method_name |
|
/tensorflow/serving/predict |
执行转换
- 下载模型转换工具“saved_model2om.py”至服务器的任一目录,例如上传到$HOME/tools/目录下,无需安装。
- 执行如下命令将SavedModel模型转换为离线.om模型。
python3 saved_model2om.py --input_path "原始SavedModel文件路径" --output_path "om文件输出路径" --input_shape "输入模型的shape值" --soc_version "芯片类型"
如果在转换的过程中需要进行子图或者算子调优,请执行以下命令。
python3 saved_model2om.py --input_path "原始SavedModel文件路径" --output_path "om文件输出路径" --input_shape "输入模型的shape值" --profiling "子图调优或者算子调优"
- 转换成功后,会在指定的output_path下生成.om模型文件以及用于加载.om模型文件供TF Serving使用的SavedModel文件,文件格式为{om_name}_{timestamp}。
父主题: 常用操作