如何将llamafactory训练好的lora权重转换为mindie的lora格式
收藏回复举报
如何将llamafactory训练好的lora权重转换为mindie的lora格式
t('forum.solved') 已解决
新人帖
发表于2025-01-02 14:13:58
0 查看

直接使用https://www.hiascend.com/document/detail/zh/mindie/10RC3/mindiellm/llmdev/mindie_llm0290.html这种格式并不能初始化模型的权重

  File "/usr/local/Ascend/llm_model/atb_llm/utils/adapter_manager.py", line 273, in concate_sorted_adapter

    padded_lora_b = torch.cat(linear_lora_b_adapter_weights, dim=0)

                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

RuntimeError: Sizes of tensors must match except in dimension 0. Expected size 14848 but got size 14784 for tensor number 1 in the list.

本帖最后由 匿名用户2025/01/02 14:15:20 编辑

我要发帖子