--- title: MiniGPT4-7B-权重库-ModelZoo-昇腾社区 description: MiniGPT4-7B权重获取地址引导 keywords: MiniGPT,权重库,ModelZoo,昇腾社区,概述,简述,准备训练环境,准备环境 url: https://www.hiascend.com/software/modelzoo/datasets/detail/15cb8a5c214548d09951d495b6feb254 section: (其他) --- # MiniGPT4-7B-权重库-ModelZoo-昇腾社区 URL: https://www.hiascend.com/software/modelzoo/datasets/detail/15cb8a5c214548d09951d495b6feb254 描述: MiniGPT4-7B权重获取地址引导 关键词: MiniGPT,权重库,ModelZoo,昇腾社区,概述,简述,准备训练环境,准备环境 ModelZoo主页 主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流 主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心论坛交流 权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets) MiniGPT4-7B ## MiniGPT4-7B 图文多模态BSD 31380次浏览119次下载2026/02/02更新 获取权重库脚本 MiniGPT4-7B 获取权重库脚本 ... # 概述 ## 简述 MiniGPT-4使用一个投影层将来自BLIP-2的冻结视觉编码器与冻结的LLM Vicuna对齐。通过两个阶段来训练MiniGPT-4，先是用500万图文对训练，然后再用一个3500对高质量数据集训练。 - 参考实现： ``` url=https://github.com/Vision-CAIR/MiniGPT-4 commit_id=22d8888ca2cf0aac862f537e7d22ef5830036808 ``` - 适配昇腾 AI 处理器的实现： ``` url=https://gitee.com/ascend/ModelZoo-PyTorch.git code_path=PyTorch/built-in/foundation ``` # 准备训练环境 ## 准备环境 - 当前模型支持的PyTorch如下表所示。 表 1版本支持表 | 配套 | 版本 | | --- | ---| | PyTorch | 1.11.0 | - 环境准备指导。 请参考《Pytorch框架训练环境准备 [了解详情](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。 - 安装依赖。 在模型源码包根目录下执行命令，安装模型对应PyTorch版本需要的依赖。 ``` pip install -r requirements.txt # PyTorch1.11版本 ``` - 替换transformers库中的相关文件。 将当前工程目录下的transformers_modify文件夹中的文件替换到transformers安装目录下的对应位置（基于transformers 4.28.0版本）： ``` utils.py -> transformers/generation/utils.py ``` ## 准备数据集 1. 获取预训练数据集。 要下载和准备Laion和CC数据集，请查看第一阶段数据集准备说明 [了解详情](https://www.hiascend.com/dataset/README_1_STAGE.md)。 数据集参考目录如下: ``` laion_dataset ├── 00000.parquet ├── 00000_stats.json ├── 00000.tar ├── ... cc_sbu_dataset ├── 00000.parquet ├── 00000_stats.json ├── 00000.tar ├── ... ``` 2. 获取微调数据集 要下载和准备小型高质量图像文本对数据集，请查看第二阶段数据集准备说明 [了解详情](https://www.hiascend.com/dataset/README_2_STAGE.md)。 数据集参考目录如下: ``` cc_sbu_align ├── filter_cap.json ├── image ├── 0.jpg ├── ... ``` ## 准备模型权重 1. 准备预训练的Vicuna权重 用户参照链接 [了解详情](https://www.hiascend.com/PrepareVicuna.md)自行获取模型文件，并放于自定义目录下，微调依赖该模型权重。 自定义参考目录如下: ``` vicuna_weights ├── config.json ├── generation_config.json ├── pytorch_model.bin.index.json ├── pytorch_model-00001-of-00003.bin ``` 在配置文件minigpt4.yaml [了解详情](https://www.hiascend.com/minigpt4/configs/models/minigpt4.yaml#L16)中修改vicuna权重所在的路径。 2. 准备训练的MiniGPT-4检查点: | Checkpoint Aligned with Vicuna 3B | Checkpoint Aligned with Vicuna 7B | | --- | ---| | 链接 | 链接 | 然后，在评估配置文件minigpt4_eval.yaml [了解详情](https://www.hiascend.com/eval_configs/minigpt4_eval.yaml#L10)的第11行中设置预训练检查点的路径。 3. 准备只有第一阶段训练的MiniGPT-4检查点链接 [了解详情](https://drive.google.com/file/d/1u9FRRBB3VovP1HxCAlpD9Lw4t4P6-Yq8/view?usp=share_link)。 # 开始训练 进入解压后的源码包根目录。 ``` cd /${模型文件夹名称} ``` ## 预训练 - 单机4卡预训练 ``` bash test/pretrain_gpt_4p.sh ``` 要启动第一阶段预训练，请先在laion/defaults.yaml [了解详情](https://www.hiascend.com/minigpt4/configs/datasets/laion/defaults.yaml)和/cc_sbu/defaults.yaml [了解详情](https://www.hiascend.com/minigpt4/configs/datasets/cc_sbu/defaults.yaml)中指定预训练数据集路径。 ## 微调 - 单机单卡微调 ``` bash test/finetune_gpt_1p.sh ``` 要启动第二阶段微调对齐，请先在minigpt4_stage2_finetune.yaml [了解详情](https://www.hiascend.com/train_configs/minigpt4_stage2_finetune.yaml)和cc_sbu/align.yaml [了解详情](https://www.hiascend.com/minigpt4/configs/datasets/cc_sbu/align.yaml)中分别指定第1阶段预训练的检查点文件的路径和精调数据集路径。 ## 在线演示 1. 修改配置文件minigpt4_eval.yaml [了解详情](https://www.hiascend.com/eval_configs/minigpt4_eval.yaml#L11)第11行，路径为微调好的权重所在路径。 2. 在线演示： ``` python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0 ``` 3. 运行成功后，在服务器浏览器的输入URL链接：http://127.0.0.1:7860 [了解详情](http://127.0.0.1:7860), 会加载UI界面。上传图像开始与MiniGPT-4聊天。 4. 如需本地浏览器远程访问服务器，需要ssh进行端口映射： ``` ssh -L 6006:127.0.0.1:7860 yourname@server.ip ``` 在本地浏览器输入URL链接：http://127.0.0.1:6006 [了解详情](http://127.0.0.1:6006), 即可加载聊天界面。 # 训练结果展示 表 1预训练结果展示表 | NAME | TokensPerSec | Iterations | BatchSize | Torch_Version | | --- | --- | --- | --- | ---| | Pretrain -竞品A | 8866 | 5000*4 | 64 | 1.11 | | Pretrain -NPU | 7517 | 8000*4 | 40 | 1.11 | 表 2微调结果展示表 | NAME | TokensPerSec | Iterations | BatchSize | Torch_Version | | --- | --- | --- | --- | ---| | Finetune -竞品A | 2805 | 200*2 | 12 | 1.11 | | Finetune -NPU | 2433 | 240*2 | 10 | 1.11 | ## 在线演示效果 这里展示了MiniGPT-4微调后的演示效果。 # 版本说明 ## 变更 2023.7.05：首次发布。 ## FAQ 无。 | 版本 | 更新时间 | 权重库Hub格式 | 操作 | | --- | --- | --- | ---| 暂无数据 使用模型资源和服务前，请您仔细阅读并理解透彻《昇腾深度学习模型许可协议 3.0》 [了解详情](https://www.hiascend.com/legal/modelzoo_models_license)