--- title: ChineseCLIP-PyTorch-模型库-ModelZoo-昇腾社区 description: 本项目为CLIP模型的中文版本，使用大规模中文数据进行训练（~2亿图文对），旨在帮助用户快速实现中文领域的图文特征&相似度计算、跨模态检索、零样本图片分类等任务。 keywords: ChineseCLIP,PyTorch,模型库,ModelZoo,昇腾社区,概述,简述,准备训练环境 url: https://www.hiascend.com/software/modelzoo/models/detail/b643fabb50584fbd9e8b8c62d74be025 section: (其他) --- # ChineseCLIP-PyTorch-模型库-ModelZoo-昇腾社区 URL: https://www.hiascend.com/software/modelzoo/models/detail/b643fabb50584fbd9e8b8c62d74be025 描述: 本项目为CLIP模型的中文版本，使用大规模中文数据进行训练（~2亿图文对），旨在帮助用户快速实现中文领域的图文特征&相似度计算、跨模态检索、零样本图片分类等任务。 关键词: ChineseCLIP,PyTorch,模型库,ModelZoo,昇腾社区,概述,简述,准备训练环境 ModelZoo主页 主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心 [了解详情](https://www.hiascend.com/document/detail/zh/ModelZoo/Documentation/overview/overview_0001.html)论坛交流 [了解详情](https://www.hiascend.com/forum/forum-0140120119986591009-1.html) 主页 [了解详情](https://www.hiascend.com/software/modelzoo)大模型 [了解详情](https://www.hiascend.com/software/modelzoo/big-models)模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models)工具库 [了解详情](https://www.hiascend.com/software/modelzoo/tools)权重库 [了解详情](https://www.hiascend.com/software/modelzoo/datasets)ModelShow [了解详情](https://www.hiascend.com/software/modelzoo/modelshow)DeepSeek专区HOT [了解详情](https://www.hiascend.com/developer/deepseek)文档中心 [了解详情](https://www.hiascend.com/document/detail/zh/ModelZoo/Documentation/overview/overview_0001.html)论坛交流 [了解详情](https://www.hiascend.com/forum/forum-0140120119986591009-1.html) 模型库 [了解详情](https://www.hiascend.com/software/modelzoo/models) ChineseCLIP-PyTorch ## ChineseCLIP-PyTorch 图文多模态PyTorch训练979次浏览2026/02/02更新 获取源码 ChineseCLIP-PyTorch 查看模型源码 模型使用 版本信息 模型使用 版本信息 ... # 概述 ## 简述 本项目为CLIP模型的中文版本，使用大规模中文数据进行训练（~2亿图文对），旨在帮助用户快速实现中文领域的图文特征&相似度计算、跨模态检索、零样本图片分类等任务。 - 参考实现： ``` url=https://github.com/OFA-Sys/Chinese-CLIP commit_id=2c38d03557e50eadc72972b272cebf840dbc34ea ``` - 适配昇腾 AI 处理器的实现： ``` url=https://gitee.com/ascend/ModelZoo-PyTorch.git code_path=PyTorch/built-in/others ``` # 准备训练环境 ## 准备环境 - 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。 表 1版本支持表 | Torch_Version | 三方库依赖版本 | | --- | ---| | PyTorch 1.11 | - | - 环境准备指导。 请参考《Pytorch框架训练环境准备 [了解详情](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。 - 安装依赖。 在模型源码包根目录下执行命令，安装模型需要的依赖。 ``` pip install -r requirements.txt python3 -m pip install -e . ``` ## 准备预训练模型与词表 - 参考实现中提供了预训练模型的下载链接： - VIT-B-16：https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/checkpoints/clip_cn_vit-b-16.pt [了解详情](https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/checkpoints/clip_cn_vit-b-16.pt) - VIT-H-14：https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/checkpoints/clip_cn_vit-h-14.pt [了解详情](https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/checkpoints/clip_cn_vit-h-14.pt) - 下载好的预训练模型放在pretrained_weights路径下 ## 准备数据集 - 参考实现中提供了处理好的Flickr30K-CN数据集与zeroshot使用的cifar-100的下载链接： - Flickr30K-CN：https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/datasets/Flickr30k-CN.zip [了解详情](https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/datasets/Flickr30k-CN.zip) - cifar-100:http://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/datasets/cifar-100.zip [了解详情](http://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/datasets/cifar-100.zip) - 下载好的预训练模型放在datasets路径下 # 开始训练 ## 训练模型 1. 进入解压后的源码包根目录。 ``` cd /${模型文件夹名称} ``` 2. 运行训练脚本。 该模型支持单机单卡训练和单机8卡训练。 - 单机单卡训练 启动单卡训练。 ``` bash test/flickr30k_finetune_vit-b-16_rbt-base_full_1p.sh . # 单卡训练 vit-b bash test/flickr30k_finetune_vit-h-14_rbt-large_full_1p.sh . # 单卡训练 vit-h bash test/flickr30k_finetune_vit-b-16_rbt-base_performance_1p.sh . # 单卡性能 vit-b bash test/flickr30k_finetune_vit-h-14_rbt-large_performance_1p.sh . # 单卡性能 vit-h ``` - 单机8卡训练 启动8卡训练。 ``` bash test/flickr30k_finetune_vit-b-16_rbt-base_full_8p.sh . # 8卡训练 vit-b bash test/flickr30k_finetune_vit-h-14_rbt-large_full_8p.sh . # 8卡训练 vit-h bash test/flickr30k_finetune_vit-b-16_rbt-base_performance_8p.sh . # 8卡性能 vit-b bash test/flickr30k_finetune_vit-h-14_rbt-large_performance_8p.sh . # 8卡性能 vit-h ``` 训练完成后，权重文件保存在./experiments下，并输出模型训练精度和性能信息。 ## 模型推理 1. 支持speed_benchmark - 进行speed_benchmark测试 ``` bash test/speed_benchmark_eval.sh . # speed_benchmark测试 ``` 2. 支持zeroshot - 进行zeroshot测试 ``` bash test/zeroshot_eval.sh . # zeroshot测试 ``` # 训练结果展示 表 2训练结果展示表 | pretrain_model | NAME | image_to_text_R@5 | text_to_image_R@5 | FPS | Epochs | batch_size | | --- | --- | --- | --- | --- | --- | ---| | vit-b | 8p-NPU | 94.76 | 98.7 | 2280.00 | 3 | 128 | | vit-b | 8p-竞品V | 94.63 | 98.97 | 2512.40 | 3 | 128 | | vit-h | 8p-NPU | 95.18 | 98.7 | 316.07 | 3 | 32 | | vit-h | 8p-竞品V | 95.34 | 99.4 | 348.13 | 3 | 32 | 表 3zeroshot结果展示表 | NAME | zeroshot-top1 | | --- | ---| | NPU | 64.44 | | 竞品V | 64.32 | # 版本说明 ## 变更 2023.08.29：首次提交。 2023.09.04：适配NPU，新增训练和性能脚本。 2023.09.05：新增推理测试脚本。 ## FAQ 无。 | 版本 | 更新时间 | 精度 | 处理器 | CANN版本 | 操作 | | --- | --- | --- | --- | --- | ---| | 5.0.RC2 | 2023/09/19 | Mixed | Ascend 910 | 6.3.RC2 | modelzoo | 使用模型资源和服务前，请您仔细阅读并理解透彻《昇腾深度学习模型许可协议 3.0》 [了解详情](https://www.hiascend.com/legal/modelzoo_models_license)