比如在由unit8转为fp16时,其转换可以视作如下公式。其中,mean_chn_i表示每个通道的均值,min_chn_i表示每个通道的最小值,var_reci_chn_i表示每个通道方差的倒数,各通路的这三个值都是需要进行配置的参数。
pixel_out_chx(i)=[pixel_in_chx(i)-mean_chn_i-min_chn_i]*var_reci_chn_i