训练场景介绍

训练场景介绍

Rec SDK提供使用tf.Session训练场景和NPUEstimator训练场景两种使用场景。

  • Rec SDK暂时不支持Keras。
  • 目前Rec SDK仅支持使用TensorFlow原生API模型训练脚本迁移,不支持使用第三方框架(tf_adapter、HugeCTR、DeepRec等)。
  • Rec SDK目前仅支持模型的输入数据为tf.data.Dataset格式。
  • 启用大小循环的情况下,训练迭代的总次数必须是小循环(即iterations_per_loop)的整数倍。

TensorFlowRec SDK接口对应关系

在进行模型迁移时,需要根据实际的模型代码以及代码上下文判断是否使用到稀疏表相关的接口,如果是与稀疏表相关的TensorFlow接口,需要修改为Rec SDK的接口,接口对应关系如表1所示。

表1 接口对应关系

TensorFlow接口

Rec SDK接口

接口功能描述

MutableHashTable、tf.Variable

create_table

创建稀疏表

tf.embedding_lookup、mutable_hash_table.lookup(mutable_hash_table是MutableHashTable的实例)等

sparse_lookup

查询稀疏表

接口示例: