说明
- 由于后处理参数被MindIE Server和MindIE LLM使用,MindIE Benchmark仅作宽松校验,其允许的取值并不一定是模型推理支持的取值。具体校验如下:
- int32类型,取值范围为:(-2147483647, 2147483647];
- int64类型,取值范围为:(-18446744073709551615, 18446744073709551615];
- 对于bool、float、string和更复杂的list等类型,仅仅校验类型,不校验取值范围;
- 对于bool类型,其取值按JSON字符串规范,取全小写的true或false。
- 对于float类型,也允许传入整数,如允许"temperature=2.0" 和 "temperature=2";
- 对于list列表等复合结构,仅校验最外层类型;例如list中元素类型不符合要求,则MindIE Benchmark不进行校验。
- 考虑到不同MindIE LLM后端支持的参数可能有差异,以下章节中列出的参数仅供参考。
- 如果使用服务化场景,传入以下章节中未列出的参数时,参数不会被自动移除,而是会继续传入MindIE Server。