|
组合模型可以在占用较少空间的同时表现更好，这一点也不奇怪。此外，这些类型的非线性拓扑可以用Keras functional API等工具轻松构建。
为了处理像视频和三维数据等形式日益多样化的数据类型，研究人员必须构建创造性的组合模型。
在这里阅读更多关于成分学习和未来的信息。
简化学习
在深度学习领域， 特别是在NLP（深度学习领域研究最热潮激动人心的领域）中，模型的规模正在不断增长。最新的GPT-3模型有1750亿个参数。把它和BERT比较就像把木星比作蚊子一样（好吧，不是字面意思）。深度学习的未来会更大吗？
在对每个聚类簇进行解释后（例如，聚类A代表抱怨产品的评论，聚类B代表积极反馈等），然后可以使用BERT这样的深层NLP架构将新文本分类到这些聚类簇中，所有这些都是完全未标记的数据和最少的人工参与。
这又是一个将无监督任务转换为有监督任务的有趣应用程序。在一个绝大多数数据都是无监督数据的时代，通过混合学习建立创造性的桥梁，跨越有监督和无监督学习之间的界限，具有巨大的价值和潜力。
成分学习
成分学习不仅使用一个模型的知识，而且使用多个模型的知识。人们相信，通过独特的信息组合或投入（包括静态和动态的），深度学习可以比单一的模型在理解和性能上不断深入。
迁移学习是一个非常明显的成分学习的例子， 基于这样的一个想法， 在相似问题上预训练的模型权重可以用来在一个特定的问题上进行微调。构建像Inception或者VGG-16这样的预训练模型来区分不同类别的图像。
如果我打算训练一个识别动物（例如猫和狗）的模型， 我不会从头训练一个卷积神经网络，因为这样会消耗太多的时间才能够达到很好的结果。相反，我会采用一个像Inception的预训练模型，这个模型已经存储了图像识别的基本信息， 然后在这个数据集（猫狗数据集）上训练额外的迭代次数即可。
类似地，在NLP神经网络中的词嵌入模型，它根据单词之间的关系将单词映射到嵌入空间中更接近其他单词的位置（例如，苹果和句子的距离比苹果和卡车的距离要小）。像GloVe这样的预训练embedding可以被放入神经网络中，从已经有效地将单词映射到数值的， 有意义的实体开始。
不那么明显的是，竞争也能刺激知识增长。其一，生成性对抗性网络借用了复合学习范式从根本上使两个神经网络相互对立。生成器的目标是欺骗鉴别器，而鉴别器的目标是不被欺骗。
模型之间的竞争将被称为“对抗性学习”，不要与另一种类型的对抗性学习相混淆，那是设计恶意输入并发现模型中的弱决策边界。
对抗性学习可以刺激模型，通常是不同类型的模型，其中模型的性能可以表示为与其他模型的性能相关。在对抗性学习领域还有很多研究要做，生成性对抗性网络是对抗性学习的唯一突出创举。
另一方面，竞争学习类似于对抗性学习，但是在逐节点规模上进行的：节点竞争对输入数据子集的响应权。竞争学习是在一个“竞争层”中实现的，在竞争层中，除了一些随机分布的权值外，一组神经元都是相同的。
将每个神经元的权重向量与输入向量进行比较，并激活相似度最高的神经元也就是“赢家通吃”神经元（输出=1）。其他的被“停用”（输出=0）。这种无监督技术是自组织映射和特征发现的核心部分。
另一个成分学习的又去例子时神经架构搜索。简单来说， 在强化学习环境中， 一个神经网络（通常时递归神经网络）学习生成对于这个数据集来说最好的网络架构——算法为你找到最好的架构，你可以在这儿读到更多的关于这个理论的知识，并且在这儿应用python代码实现。
集成的方法在成分学习中也时主要的， 深度集成的方法已经展示出了其高效性。并且模型端到端的堆叠， 例如编码器与解码器已经变得非常受欢迎。
许多成分学习都在寻找在不同模型之间建立联系的独特方法。它们都基于这个想法：
单一的模型甚至一个非常大的模型，通常也比几个小模型/组件表现的差，这些小模型每一个都被分配专门处理任务中的一部分
例如， 考虑构建餐厅聊天机器人的任务。
（编辑：阿坝站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
