消减私有格式转换

基本原理

部分场景下私有格式会比ND格式占用更多内存，同时私有格式引起的格式转换操作会导致额外的临时内存申请，可能导致峰值内存冲高。ND格式整网流转是大模型优先使用的方式，可从算子Profiling中排查是否存在私有格式引入并进行消除。

使用场景

网络中使用私有格式。

操作步骤

采集算子profiling，查看op_summary_0_1_20231127110237.csv文件Input Formats，Output Formats列，排查算子的输入输出是否私有格式。基础格式包括：FORMAT_ND、NCHW、NHWC、NCDHW。排查引入私有格式的算子，确定是否可以使用基础格式代替。