virtual bool IsEOS() const noexcept

接口功能

判断推理使用的tokennizer是否需要使用eos。

接口格式

virtual bool IsEOS() const noexcept = 0;

接口参数

无

使用样例

无

返回值

tokennizer是否需要使用eos判断结果。