（beta）torch_npu.contrib.module.MultiheadAttention

产品支持情况

[object Object]undefined

功能说明

Multi-head attention。

函数原型

参数说明

• embed_dim ([object Object])：模型总维度。
• num_heads ([object Object])：并行attention head。
• kdim([object Object])：key的特性总数。默认值为None。
• vdim([object Object])：value的特性总数。默认值为None。
• dropout ([object Object])：Dropout概率。
• bias ([object Object])：如果指定此参数，则向输入/输出投影层添加偏置。默认值为True。
• add_bias_kv ([object Object])：如果指定此参数，则在dim=0处向键值序列添加偏置。默认值为False。
• add_zero_attn ([object Object])：如果指定此参数，则在dim=1处向键值序列新加一批零。默认值为False。
• self_attention([object Object])：表示是否为自注意力层，若取值为True，要求[object Object]、[object Object]、[object Object]取值相等。默认值为False。
• encoder_decoder_attention ([object Object])：输入为编码器输出和解码器self-attention输出，其中编码器self-attention用作key和value，解码器self-attention用作查询。默认值为False。
• q_noise([object Object])：量化噪声量。
• qn_block_size([object Object])：用于后续iPQ量化的块大小。

返回值说明

[object Object]

Multi-head attention的计算结果。

调用示例