Scope融合实现方案

Scope融合实现方案

• ScopePass Register：用于融合规则注册。
• OpParser-Plugin Register：用于融合算子Parser注册，将Scope内的TensorFlow算子映射成适配昇腾AI处理器的融合算子。普通算子映射也是由该模块完成。

Scope融合规则注册

在ATC模型转换或者在TensorFlow框架内执行图时，系统会将“Ascend-cann-toolkit安装目录/ascend-toolkit/latest/opp/built-in/framework/”下的融合规则插件so（包括所有内置融合规则和自定义融合规则）自动加载到ScopePass Register。在后续Parser执行阶段可根据该融合规则的使能状态，决定是否创建并执行。

图1 Scope融合规则注册机制

Scope融合规则创建和执行

图2 Scope融合规则执行流程

1. TensorFlow Parser在模型解析过程中，调用ScopePassManager提供的能力，将GraphDef里的Node信息、Scope信息用Scope融合的数据类型表示出来，从上到下的层级为ScopeGraph、ScopeTree、Scope，生成ScopeGraph。
2. TensorFlow Parser创建并执行Scope融合，最后将最终匹配结果保存到ScopeGraph。主要包括以下几步：
   1. TensorFlow Parser根据已注册的融合规则的使能状态，创建Scope融合规则。
   2. 获取已创建的Scope融合规则，用全图的Scope，按照融合规则注册的先后顺序，逐一去匹配这些规则，如果匹配到则设置对应Scope的类型。
      

      如果用户自定义融合规则的名称和内置融合规则名称一样，则按照用户自定义融合规则匹配。

   3. 对上一步匹配到的Scope按Scope的连接关系等进行进一步筛选。例如上一步得到的Scope并不一定是最终目标融合的Scope，而需要筛选出有并列关系的Scope，或者筛选出有嵌套关系的Scope等。
   4. 对最终匹配到的Scope设置融合结果，包含融合节点的名字、类型、输入、输出、描述等。
   5. 将融合结果保存到第1步生成的ScopeGraph中。
3. TensorFlow Parser后续流程会根据融合结果信息，执行添加节点、连接节点关系、构造IR Graph等操作。

关键数据结构