组件学习不仅使用一个模型的知识，还使用多个模型的知识。个人认为通过独特的信息组合或输入，深度学习可以比单一模式更深入地理解和表现。迁移学习是组件学习的一个非常明显的例子。基于这一思想，对类似问题预先训练的模型权重可用于对特定问题进行微调。为了区分不同类型的图像，构建了一个预训练模型，如inception或vgg-16。
       如果我计划训练一个模型来识别动物（比如我家可爱的小猫咪），我不会从头开始训练一个卷积神经网络，因为要获得好的结果需要花费太多的时间。相反，我将使用perception之类的预训练模型，它存储了图像识别的基本信息，然后在此数据集（我家可爱的小猫咪）上训练额外的迭代。类似地，NLP神经网络中的单词嵌入模型根据单词之间的关系（例如，苹果和句子之间的距离小于苹果和卡车之间的距离）将单词映射到嵌入空间中更靠近其他单词的位置。预训练嵌入（如手套）可以放入神经网络中，从有效地将单词映射到值的有意义实体开始。
       不太明显的是，竞争也可以刺激知识增长。首先，生成性对抗网络借用复合学习范式，从根本上使两个神经网络相互对立。生成器的目标是欺骗鉴别器，而鉴别器的目标不是被欺骗。
对抗性学习可以刺激模型，通常是不同类型的模型，其中模型的性能可以表示为与其他模型的性能相关。在对抗性学习领域还有很多研究要做。生成性对抗网络是对抗学习中唯一突出的主动性。
       其次，竞争性学习类似于对抗性学习，但它是在一个节点一个节点的规模上进行的：节点竞争对输入数据子集的响应权。竞争学习是在一个“竞争层”中实现的，其中一组神经元除了一些随机分布的权值外是相同的。将每个神经元的权重向量与输入向量进行比较，激活相似度最高的神经元，即“赢家通吃”神经元（输出=1）。其他被“停用”（输出=0）。这种无监督技术是自组织映射和特征发现的核心。
      组件学习的另一个例子是神经架构搜索。也就是在强化学习环境中，神经网络（通常是递归神经网络）学习生成此数据集的最佳网络体系结构-算法为您找到最佳体系结构。我为此阅读了很多有关信息，并使用Python代码进行实践。集成方法在组件学习中也很重要。深度积分法已经证明了它的有效性。而端到端堆叠模型，如编码器和解码器，已经变得非常流行。许多组件学习都在寻找在不同模型之间建立联系的独特方法。它们基于这样一种想法，即单个模型或甚至非常大的模型通常比几个小模型/组件的性能差，每个小模型/组件都被分配来处理任务的一部分。