华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
https://www.hiascend.com/document/detail/zh/mindie/100/mindiellm/llmdev/mindie_llm0295.html
官方文档中提到MindIE LLM中支持了NTK等长序列技术,请问相关能力如何开启?我没有找到相关的文档。我尝试进行Qwen2.5 72B Instruct的128K长上下文推理,但是在尝试Yarn时失败了
我要发帖子
https://www.hiascend.com/document/detail/zh/mindie/100/mindiellm/llmdev/mindie_llm0295.html
官方文档中提到MindIE LLM中支持了NTK等长序列技术,请问相关能力如何开启?我没有找到相关的文档。我尝试进行Qwen2.5 72B Instruct的128K长上下文推理,但是在尝试Yarn时失败了