如何开启长序列支持Qwen2.5 72b
收藏回复举报
如何开启长序列支持Qwen2.5 72b
t('forum.solved') 已解决
发表于2025-01-14 22:29:08
0 查看

https://www.hiascend.com/document/detail/zh/mindie/100/mindiellm/llmdev/mindie_llm0295.html

官方文档中提到MindIE LLM中支持了NTK等长序列技术,请问相关能力如何开启?我没有找到相关的文档。我尝试进行Qwen2.5 72B Instruct的128K长上下文推理,但是在尝试Yarn时失败了

我要发帖子