混合计算

mix_compile_mode

是否开启混合计算模式。

• True：开启。
• False：关闭，默认关闭。

计算全下沉模式即所有的计算类算子全部在Device侧执行，混合计算模式作为计算全下沉模式的补充，将部分不可离线编译下沉执行的算子留在前端框架中在线执行，提升昇腾AI处理器支持Tensorflow的适配灵活性。

配置示例：

custom_op.parameter_map["mix_compile_mode"].b =  True

训练/在线推理

in_out_pair_flag

混合计算场景下，指定in_out_pair中的算子是否下沉到昇腾AI处理器，取值：

• True：下沉，默认为True。
• False：不下沉。

配置示例：

custom_op.parameter_map['in_out_pair_flag'].b = False

在线推理

in_out_pair

混合计算场景下，配置下沉/不下沉部分的首尾算子名。

配置示例：

# 开启混合计算
custom_op.parameter_map["mix_compile_mode"].b = True

# 如下配置，将in_nodes, out_nodes范围内的算子全部下沉到昇腾AI处理器执行
in_nodes.append('import/conv2d_1/convolution')
out_nodes.append('import/conv2d_59/BiasAdd')
out_nodes.append('import/conv2d_67/BiasAdd')
out_nodes.append('import/conv2d_75/BiasAdd')
all_graph_iop.append([in_nodes, out_nodes])
custom_op.parameter_map['in_out_pair'].s = tf.compat.as_bytes(str(all_graph_iop))

# 或者通过如下配置，将in_nodes, out_nodes范围内的算子不下沉，全部留在前端框架执行
in_nodes.append('import/conv2d_1/convolution')
out_nodes.append('import/conv2d_59/BiasAdd')
out_nodes.append('import/conv2d_67/BiasAdd')
out_nodes.append('import/conv2d_75/BiasAdd')
all_graph_iop.append([in_nodes, out_nodes])
custom_op.parameter_map['in_out_pair_flag'].b = False
custom_op.parameter_map['in_out_pair'].s = tf.compat.as_bytes(str(all_graph_iop))

在线推理