（beta）torch_npu.contrib.module.MultiheadAttention

函数原型

功能说明

Multi-head attention。

参数说明

• embed_dim (Int) - 模型总维度。
• num_heads (Int) - 并行attention head。
• kdim(Int，默认值为None) - key的特性总数。
• vdim(Int，默认值为None) - value的特性总数。
• dropout (Float) - Dropout概率。
• bias (Bool，默认值为True) - 如果指定此参数，则向输入/输出投影层添加偏置。
• add_bias_kv (Bool，默认值为False) - 如果指定此参数，则在dim=0处向键值序列添加偏置。
• add_zero_attn (Bool，默认值为False) - 如果指定此参数，则在dim=1处向键值序列新加一批零。
• self_attention (Bool，默认值为False) - 计算你自己的attention score。
• encoder_decoder_attention (Bool，默认值为False) - 输入为编码器输出和解码器self-attention输出，其中编码器self-attention用作key和value，解码器self-attention用作查询。
• q_noise(Float) - 量化噪声量。
• qn_block_size(Int) - 用于后续iPQ量化的块大小。

支持的型号

• [object Object]Atlas 训练系列产品[object Object]
• [object Object]Atlas A2 训练系列产品[object Object]
• [object Object]Atlas A3 训练系列产品[object Object]
• [object Object]Atlas 推理系列产品[object Object]

调用示例