开发者
资源
[object Object][object Object][object Object]undefined
[object Object]

实现“Transformer attention score”的融合计算逻辑,主要将matmul、transpose、add、softmax、dropout、batchmatmul、permute等计算进行了融合。

[object Object]
[object Object]
[object Object]
  • query_layer[object Object]):必选参数,仅支持[object Object]
  • key_layer[object Object]):必选参数,仅支持[object Object]
  • value_layer[object Object]):必选参数,仅支持[object Object]
  • attention_mask[object Object]):必选参数,仅支持[object Object]
  • scale[object Object]):必选参数,缩放系数,浮点数标量。
  • keep_prob[object Object]):必选参数,不做dropout的概率,0-1之间,浮点数。
  • query_transpose[object Object]):可选参数,query是否做转置,默认值为False。
  • key_transpose[object Object]):可选参数,key是否做转置,默认值为False。
  • bmm_score_transpose_a[object Object]):可选参数,bmm计算中左矩阵是否做转置,默认值为False。
  • bmm_score_transpose_b[object Object]):可选参数,bmm计算中右矩阵是否做转置,默认值为False。
  • value_transpose[object Object]):可选参数,value是否做转置,默认值为False。
  • dx_transpose[object Object]):可选参数,反向计算时dx是否做转置,默认值为False。
[object Object]

输入tensor的格式编号必须均为29,数据类型为[object Object]

[object Object]
[object Object]