昇腾社区首页
中文
注册

修改特性

编号

模块

详细

1

MindIE Service

  • 支持请求超时处理时延可配置,包括首token等待时延和E2E时延超时配置,配置范围:[1, 3600],单位为:s。
  • vLLM兼容OpenAI接口中,messages参数下的role字段除了支持system、user、assistant和tool以外,还支持加载chat_template(模型权重目录下tokenizer_config.json文件中的参数)中的自定义角色。

2

MindIE Service

配置ranktable.json文件绝对路径环境变量RANKTABLEFILE整改为RANK_TABLE_FILE。

2

MindIE LLM

日志环境变量由MINDIE_LLM_LOG_LEVEL统一整改为MINDIE_LOG_LEVEL,其他日志变量TO_FILE、STDOUT等也做相似修改。