华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
昇腾论坛
0
/100
支持
我的论坛主页
论坛首页
/
KV Cache 复用率低、显存占用过高怎么优化
点赞
0
收藏
0
回复
0
分享
举报
KV Cache 复用率低、显存占用过高怎么优化
已解决
发表于2026-03-24 22:34:44
0
查看
在昇腾 910B 上跑长对话大模型推理,KV Cache 膨胀快、复用率低,显存占用居高不下,频繁清退历史又影响上下文效果。想问:
如何基于昇腾硬件架构做轻量化 KV Cache 调度,在不明显掉性能的前提下提高缓存复用率?
匿名回复
发表
我要发帖子
我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。
查看详情