概述
简述
DeCLIP是一种数据高效的CLIP训练方法，通过利用图像-文本对之间的联系，DeCLIP可以更有效地学习通用视觉特征。 相较于CLIP需要4亿对图像-文本进行预训练， DeCLIP-ResNet50在使用更少的数据的同时在ImageNet上实现60.4%的准确度， 比CLIP-ResNet50高0.8%。
参考实现：
[object Object]适配昇腾 AI 处理器的实现：
[object Object]
准备训练环境
准备环境
当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。
表 1 版本支持表
Torch_Version 三方库依赖版本 PyTorch 1.5 torchvision==0.2.2.post3；pillow==8.4.0 PyTorch 1.8 torchvision==0.9.1；pillow==9.1.0 环境准备指导。
请参考《Pytorch框架训练环境准备》。
安装依赖。
在模型源码包根目录下执行命令，安装模型对应PyTorch版本需要的依赖。
[object Object]说明： 只需执行一条对应的PyTorch版本依赖安装命令。
nltk_data准备(可选)
- 该模型依赖nltk及其相关语料库(omw-1.4, stopwords, wordnet)
- 若服务器不可连公网，则需要手动下载，放至
~/nltk_data目录下。
准备数据集
获取数据集。
用户自行获取
YFCC15M数据集。可参考 https://github.com/Sense-GVT/DeCLIP/blob/main/docs/dataset_prepare.md#prepare-datasets 进行数据集准备。并将数据集上传至源码包根目录下的dataset文件夹下，数据集目录结构参考如下所示。[object Object]说明： 该数据集的训练过程脚本只作为一种参考示例。
开始训练
训练模型
进入解压后的源码包根目录。
[object Object]运行训练脚本。
该模型支持单机单卡训练和单机8卡训练。
单机单卡训练
启动单卡训练。
[object Object]单机8卡训练
启动8卡训练。
[object Object]
模型训练脚本参数说明如下。
[object Object]训练完成后，权重文件保存在./checkpoint下，并输出模型训练精度和性能信息。
训练结果展示
表 2 训练结果展示表
| NAME | Acc@1 | FPS | Steps | AMP_Type | Torch_Version |
|---|---|---|---|---|---|
| 1p-竞品A | - | 85 | 1000 | O1 | 1.5 |
| 8p-竞品A | 24.7 | 560 | 128000 | O1 | 1.5 |
| 1p-NPU | - | 143.26 | 1000 | O1 | 1.8 |
| 8p-NPU | 31.52 | 537.43 | 128000 | O1 | 1.8 |
| 32p-NPU | 43.2 | 20000 | 128000 | O1 | 1.8 |
版本说明
变更
2022.08.16：首次发布。
FAQ
无。