问题描述:
使用华为Modellink大模型训练框架爱,进行qwen1.5-32B的lora微调后使用generate_xxx_lora.sh的结果是正常的。但是合并lora模型+base模型成huggingface格式后使用Mindie框架做模型推理,发现结果又问题,微调效果失效,使用微调的数据投喂测试,发现还是标准大模型的回答,不是微调后大模型的回答效果。
使用操作参考链接:https://gitee.com/ascend/ModelLink/blob/1.0.RC2/examples/qwen15/README.md#qwen15-32b
lora微调后现象:Mindie测试lora微调推理效果: 
步骤一:模型hf转legacy命令:

步骤二:模型数据集预处理命令:

步骤三:lora微调脚本配置:


步骤四:lora权重+base权重合并命令:

问题描述:
使用华为Modellink大模型训练框架爱,进行qwen1.5-32B的lora微调后使用generate_xxx_lora.sh的结果是正常的。但是合并lora模型+base模型成huggingface格式后使用Mindie框架做模型推理,发现结果又问题,微调效果失效,使用微调的数据投喂测试,发现还是标准大模型的回答,不是微调后大模型的回答效果。
使用操作参考链接:https://gitee.com/ascend/ModelLink/blob/1.0.RC2/examples/qwen15/README.md#qwen15-32b
lora微调后现象:Mindie测试lora微调推理效果:
步骤一:模型hf转legacy命令:
步骤二:模型数据集预处理命令:
步骤三:lora微调脚本配置:
步骤四:lora权重+base权重合并命令: