MIES_TOKENIZER_SLIDING_WINDOW_SIZE变量所在链接:https://www.hiascend.com/document/detail/zh/mindie/10RC2/mindieservice/servicedev/mindie_service0297.html
求助:1. 为什么流式推理会涉及 sliding window 呢?无论流式与否,LLM 的解码过程不都是根据所有历史的 kv cache 以及当前 token 计算下一 token 的概率分布么?为啥流式和非流式会存在区别呢?
2. 既然二者存在区别,那么非流式推理时,它的推理结果相当于流式推理时这个变量设置成什么的结果?是设置成 0 么?
MIES_TOKENIZER_SLIDING_WINDOW_SIZE变量所在链接:https://www.hiascend.com/document/detail/zh/mindie/10RC2/mindieservice/servicedev/mindie_service0297.html
求助:1. 为什么流式推理会涉及 sliding window 呢?无论流式与否,LLM 的解码过程不都是根据所有历史的 kv cache 以及当前 token 计算下一 token 的概率分布么?为啥流式和非流式会存在区别呢?
2. 既然二者存在区别,那么非流式推理时,它的推理结果相当于流式推理时这个变量设置成什么的结果?是设置成 0 么?