SetSequenceLen

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas 800I A2 推理产品/A200I A2 Box 异构组件	√
Atlas A2 训练系列产品	x
Atlas 200I/500 A2 推理产品	x
Atlas 推理系列产品	x
Atlas 训练系列产品	x

函数功能

设置LLM执行请求的实际句子长度。

函数原型

void SetSequenceLen(const uint64_t sequence_length)

参数说明

参数名	输入/输出	描述
sequence_length	输入	执行请求中的实际句子长度。

返回值

无

异常处理

无

约束说明

无

父主题： LLMReq