实现“Transformer attention score”的融合计算逻辑,主要将matmul、transpose、add、softmax、dropout、batchmatmul、permute等计算进行了融合。
[object Object]
- query_layer(
[object Object]):必选参数,仅支持[object Object]。 - key_layer(
[object Object]):必选参数,仅支持[object Object]。 - value_layer(
[object Object]):必选参数,仅支持[object Object]。 - attention_mask(
[object Object]):必选参数,仅支持[object Object]。 - scale(
[object Object]):必选参数,缩放系数,浮点数标量。 - keep_prob(
[object Object]):必选参数,不做dropout的概率,0-1之间,浮点数。 - query_transpose(
[object Object]):可选参数,query是否做转置,默认值为False。 - key_transpose(
[object Object]):可选参数,key是否做转置,默认值为False。 - bmm_score_transpose_a(
[object Object]):可选参数,bmm计算中左矩阵是否做转置,默认值为False。 - bmm_score_transpose_b(
[object Object]):可选参数,bmm计算中右矩阵是否做转置,默认值为False。 - value_transpose(
[object Object]):可选参数,value是否做转置,默认值为False。 - dx_transpose(
[object Object]):可选参数,反向计算时dx是否做转置,默认值为False。
输入tensor的格式编号必须均为29,数据类型为[object Object]。
[object Object]