昇腾社区首页
支持
消息
我的论坛主页
论坛首页
/
LLM推理部署优化方案
收藏回复举报
LLM推理部署优化方案
t('forum.solved') 已解决
发表于2023-10-31 15:33:03
0 查看
请问昇腾生态有类似 Huggingface TGI，vllm，ray-llm这种优化大模型推理服务吞吐量的项目么。支持 continue batching，page attention，flash attention或类似的优化呢？

我要发帖子

我们使用cookie来确保您的高速浏览体验。继续浏览本站，即表示您同意我们使用cookie。查看详情