准备训练环境

准备环境

默认配置需要每张卡有60G以上空闲内存。

• 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。

  表 1 版本支持表

  软件名称	版本	链接
  CANN	8.0.0	LINK
  HDK	24.1.0.3	LINK
  FrameworkPTAdapter	6.0.0-pytorch2.1.0	LINK

准备模型权重

获取语言识别模型和预训练权重

用户从链接获取模型文件和163份权重文件（model-0000*-of-000163.safetensors），并放于model目录下，微调依赖该模型权重。 model参考目录如下：

├── model
    ├── .gitattributes
    ├── README.md
    ├── config.json
    ├── configuration_deepseek.py
    ├── model-00001-of-000163.safetensors
    ├── model-00002-of-000163.safetensors
    ...
    ├── model-000163-of-000163.safetensors
    ├── model.safetensors.index.json
    ├── modeling_deepseek.py
    ├── tokenizer.json
    └── tokenizer_config.json

开始微调训练

通过MindSpeed-LLM执行高性能大模型Lora、QLora微调

开发者可访问MindSpeed-LLM代码仓(commit-id:e77800f8c654c4eb89f1012774a829e3e6f1e7f4)了解模型详细执行流程：

MindSpeed-LLM 环境配置指南详见(HDK,CANN等具体版本参考上文链接)：
https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/docs/features/install_guide.md

DeepSeekV3模型预训练数据预处理可以参考：
https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/docs/features/alpaca_dataset.md

DeepSeekV3模型权重分布式转换可以参考：
https://gitee.com/ascend/MindSpeed-LLM/tree/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3
1. Lora的权重转换脚本结合实际情况修改ckpt_convert_deepseek3_hf2mcore.sh:
- 删除 --moe-grouped-gemm 和 --num-nextn-predict-layers 1 特性
- 设置 --target-pipeline-parallel-size 4
- 设置 --target-expert-parallel-size 16 
- 设置 --num-layers 61
- 设置 --num-layer-list 7,7,8,8,8,8,8,7

2. qLora的权重转换脚本结合实际情况修改ckpt_convert_deepseek3_hf2mcore.sh:
- 删除 --moe-grouped-gemm 和 --num-nextn-predict-layers 1 特性
- 设置 --target-pipeline-parallel-size 8
- 设置 --target-expert-parallel-size 4 
- 设置 --num-layers 61
- 设置 --num-layer-list 7,7,8,8,8,8,8,7
- 增加 --qlora-nf4

DeepSeekV3模型Lora微调执行脚本：
https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/tune_deepseek3_671b_4k_lora_ptd.sh

DeepSeekV3模型QLora微调执行脚本：
https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/tune_deepseek3_671b_4k_qlora_ptd.sh

DeepSeekV3模型Lora微调推理执行脚本：
https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/generate_deepseek3_671b_4k_lora_ptd.sh

DeepSeekV3模型QLora微调推理执行脚本：
https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/generate_deepseek3_671b_4K_qlora_ptd.sh