判断推理使用的tokenizer是否需要使用eos。
virtual bool IsEOS() const noexcept = 0;
无。
判断返回响应是否为eos。
1
bool eos = response->IsEOS();
tokenizer是否需要使用eos判断结果。