torch npu 的flash attn过慢
收藏回复举报
torch npu 的flash attn过慢
t('forum.solved') 已解决
发表于2024-06-28 18:43:14
0 查看
cke_302.png
修改flash attn为torch_npu.npu_fusion_attention,但是推理llama时,发现使用torch_npu.npu_fusion_attention和没使用generate速度一样,没有显著提高

我要发帖子