【问题描述】

Qwen2.5 0.5B通过llama factory微调后，将微调后的权重通过mindie来进行服务化部署，提示如下错误。

Warning llm_daemon.cpp:63] [Daemon] receive exit signal[17]

【版本信息】

MindIE 1.0

Qwen2.5 0.5B

【处理过程】

通过设置日志级别到debug级别

export MINDIE_LOG_LEVEL=debug

export MINDIE_LOG_TO_STDOUT=1

可以看到错误信息为：

Failed to get vocab size from tokenizer wrapper with exception: Exception: data did not match any variant of untagged enum ModelWrapper at line 757443 column 3

说明问题发生在执行tokenzier的时候，mindIE执行tokenizer的方式是使用transformers的AutoTokenizer来加载tokenizer文件。

Python里面手动执行也是同样的报错：

讲过检查，客户的llamafactor侧使用的transformers版本是4.49.0. 低于该版本时无法正常加载该tokenizer文件。

将mindie运行环境的transformers升级到4.49.0后，mindie启动服务化成功。

【解决方案】

升级transformers版本到能正常加载该tokenizer文件的版本，该案例中客户使用的4.49.0。