--- title: DeepSeek-V3 Lora微调-模型库-ModelZoo-昇腾社区 description: DeepSeek-V3 是一款卓越的专家混合（MoE）语言模型，具备总计 6710 亿参数，其中每个 token 激活约 370 亿参数。为了实现高效推理和经济实惠的训练，DeepSeek-V3 创新性地采用了多头潜在注意力（MLA）机制与 DeepSeek-MoE 架构。 keywords: DeepSeek,Lora,微调,模型库,ModelZoo,昇腾社区,准备训练环境,准备环境 url: https://www.hiascend.com/software/modelzoo/models/detail/52226fe32f7c472084aec868ce55f00c section: (其他) --- # DeepSeek-V3 Lora微调-模型库-ModelZoo-昇腾社区 URL: https://www.hiascend.com/software/modelzoo/models/detail/52226fe32f7c472084aec868ce55f00c 描述: DeepSeek-V3 是一款卓越的专家混合（MoE）语言模型，具备总计 6710 亿参数，其中每个 token 激活约 370 亿参数。为了实现高效推理和经济实惠的训练，DeepSeek-V3 创新性地采用了多头潜在注意力（MLA）机制与 DeepSeek-MoE 架构。 关键词: DeepSeek,Lora,微调,模型库,ModelZoo,昇腾社区,准备训练环境,准备环境 ModelZoo主页 主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流 主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流 模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models) DeepSeek-V3 Lora微调 ## DeepSeek-V3 Lora微调 LLMPyTorch训推一体2178次浏览2025/03/03更新 获取源码 点击DeepSeek专区 [了解详情](https://www.hiascend.com/developer/deepseek)获取更多资源 DeepSeek-V3 Lora微调 点击DeepSeek专区 [了解详情](https://www.hiascend.com/developer/deepseek)获取更多资源 查看模型源码 ... # 准备训练环境 ## 准备环境 默认配置需要每张卡有60G以上空闲内存。 - 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。 表 1版本支持表 | 软件名称 | 版本 | 链接 | | --- | --- | ---| | CANN | 8.0.0 | LINK | | HDK | 24.1.0.3 | LINK | | FrameworkPTAdapter | 6.0.0-pytorch2.1.0 | LINK | ## 准备模型权重 获取语言识别模型和预训练权重 用户从链接 [了解详情](https://modelers.cn/models/State_Cloud/DeepSeek-V3/tree/main)获取模型文件和163份权重文件（model-0000*-of-000163.safetensors），并放于model目录下，微调依赖该模型权重。 model参考目录如下： ``` ├── model ├── .gitattributes ├── README.md ├── config.json ├── configuration_deepseek.py ├── model-00001-of-000163.safetensors ├── model-00002-of-000163.safetensors ... ├── model-000163-of-000163.safetensors ├── model.safetensors.index.json ├── modeling_deepseek.py ├── tokenizer.json └── tokenizer_config.json ``` # 开始微调训练 ## 通过MindSpeed-LLM执行高性能大模型Lora、QLora微调 开发者可访问MindSpeed-LLM [了解详情](https://gitee.com/ascend/MindSpeed-LLM/tree/e77800f8c654c4eb89f1012774a829e3e6f1e7f4)代码仓(commit-id:e77800f8c654c4eb89f1012774a829e3e6f1e7f4)了解模型详细执行流程： ``` MindSpeed-LLM 环境配置指南详见(HDK,CANN等具体版本参考上文链接)： https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/docs/features/install_guide.md DeepSeekV3模型预训练数据预处理可以参考： https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/docs/features/alpaca_dataset.md DeepSeekV3模型权重分布式转换可以参考： https://gitee.com/ascend/MindSpeed-LLM/tree/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3 1. Lora的权重转换脚本结合实际情况修改ckpt_convert_deepseek3_hf2mcore.sh: - 删除 --moe-grouped-gemm 和 --num-nextn-predict-layers 1 特性 - 设置 --target-pipeline-parallel-size 4 - 设置 --target-expert-parallel-size 16 - 设置 --num-layers 61 - 设置 --num-layer-list 7,7,8,8,8,8,8,7 2. qLora的权重转换脚本结合实际情况修改ckpt_convert_deepseek3_hf2mcore.sh: - 删除 --moe-grouped-gemm 和 --num-nextn-predict-layers 1 特性 - 设置 --target-pipeline-parallel-size 8 - 设置 --target-expert-parallel-size 4 - 设置 --num-layers 61 - 设置 --num-layer-list 7,7,8,8,8,8,8,7 - 增加 --qlora-nf4 DeepSeekV3模型Lora微调执行脚本： https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/tune_deepseek3_671b_4k_lora_ptd.sh DeepSeekV3模型QLora微调执行脚本： https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/tune_deepseek3_671b_4k_qlora_ptd.sh DeepSeekV3模型Lora微调推理执行脚本： https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/generate_deepseek3_671b_4k_lora_ptd.sh DeepSeekV3模型QLora微调推理执行脚本： https://gitee.com/ascend/MindSpeed-LLM/blob/e77800f8c654c4eb89f1012774a829e3e6f1e7f4/examples/mcore/deepseek3/generate_deepseek3_671b_4K_qlora_ptd.sh ``` | 版本 | 更新时间 | 精度 | 处理器 | CANN版本 | 操作 | | --- | --- | --- | --- | --- | ---| 暂无数据 使用模型资源和服务前，请您仔细阅读并理解透彻《昇腾深度学习模型许可协议 3.0》 [了解详情](https://www.hiascend.com/legal/modelzoo_models_license)