MIES_TOKENIZER_SLIDING_WINDOW_SIZE 环境变量设置问题
收藏回复举报
MIES_TOKENIZER_SLIDING_WINDOW_SIZE 环境变量设置问题
t('forum.solved') 已解决
新人帖
发表于2024-08-27 15:55:33
0 查看

MIES_TOKENIZER_SLIDING_WINDOW_SIZE变量所在链接:https://www.hiascend.com/document/detail/zh/mindie/10RC2/mindieservice/servicedev/mindie_service0297.html

求助:1. 为什么流式推理会涉及 sliding window 呢?无论流式与否,LLM 的解码过程不都是根据所有历史的 kv cache 以及当前 token 计算下一 token 的概率分布么?为啥流式和非流式会存在区别呢?

2. 既然二者存在区别,那么非流式推理时,它的推理结果相当于流式推理时这个变量设置成什么的结果?是设置成 0 么?

我要发帖子