910 Baichuan2-13B-Chat lora微调报错
收藏回复举报
910 Baichuan2-13B-Chat lora微调报错
t('forum.solved') 已解决
发表于2024-10-15 14:46:02
0 查看

环境:

镜像swr.cn-central-221.ovaijisuan.com/mindformers/mindformers1.0_mindspore2.2.11:aarch_910_20240118

mindformers=1.1.0,mindspore=2.2.13,python=3.10.14, cann 7.0

尝试lora微调Baichuan2-13B-Chat,流程参考https://gitee.com/mindspore/mindformers/blob/r1.0/research/baichuan2/baichuan2.md

报错信息:

81479cf0e67b8712d4f856c7aaa653c6c11e640c73ef48cbcd7abfe4b9d926c3QzpcVXNlcnNcZHJ6aGFuZ2hcQXBwRGF0YVxSb2FtaW5nXERpbmdUYWxrXDM2MDkzODU0NjFfdjJcSW1hZ2VGaWxlc1xCMDhDQTE1NS1DNkIwLTQxOGMtODkyMS0wNTU3QzQ0REUwNUUuMzYwX3RodW1i.png

此环境已验证支持baichuan2-13b-chat全参微调

怀疑chat版本不支持lora微调,此版本lora微调是否只支持base版本权重?

本帖最后由 匿名用户2024/10/15 14:52:02 编辑

我要发帖子