FlashAttentionScore 是否支持flash-attention库中的flash_attn_with_kvcache接口调用
收藏回复举报
FlashAttentionScore 是否支持flash-attention库中的flash_attn_with_kvcache接口调用
t('forum.solved') 已解决
新人帖
发表于2025-10-05 09:52:06
0 查看

现在在尝试nano-vllm 迁移到 ascend npu环境中运行

遇到了下面的flash-attn 接口调用 true

查看FlashAttentionScore 的实现没有完全解决https://www.hiascend.com/document/detail/zh/Pytorch/710/ptmoddevg/trainingmigrguide/performance_tuning_0034.html

想知道FlashAttentionScore 是否支持flash_attn_with_kvcache接口

以及flash_attn_varlen_func 中block_table 该怎么处理

谢谢大佬

我要发帖子