DeepMind本文公布新型类人神经网络技术的突破性成果

类人智能的实现：深度学习中人类判断与神经网络的对齐研究

新智元报道编辑：LRS

【新智元导读】近日，deepmind等研究机构在人工智能领域取得重要突破，提出了一种名为AligNet的新框架。
该框架通过模拟人类判断来训练教师模型，并将类人结构迁移到预训练的视觉基础模型中，从而提高了模型在多种任务上的表现，增强了模型的泛化性和鲁棒性。
这一突破为实现更类人的人工智能系统铺平了道路。

一、背景介绍

近年来，深度学习在人工智能领域取得快速进展，尤其在自然语言处理和计算机视觉方面成果显著。
即便是最强大的模型，在面临某些对于人类来说简单的任务时，也常常会遭遇挫折。
人类感知对环境变化具有鲁棒性，并能在不同的视觉设置下泛化。
相比之下，深度学习模型在训练和测试数据集之间分布发生偏移时，性能往往会急剧下降。

二、人类与AI的差异

人类在判断视觉相似性时能够很好地校准自己的判断，即确定性往往与预测准确率成正比。
而AI系统则表现出高度的确定性，即使在预测错误时也是如此。
因此，在真正实现通用人工智能之前，深度学习模型和人类之间仍然存在诸多差异需要调和、对齐。

三、问题根源

本文指出，神经网络训练和人类学习在根本上有所不同，其底层表征的相似性可能是导致神经网络无法像人类一样稳健泛化的原因之一。
现代学习系统要表现出更像人类的行为，还需要捕捉人类感知的多层次概念结构。
本文探讨了深度学习模型在概念层次结构的各个层次上缺乏这种全局组织的问题，认为这可能是导致模型性能不稳定的原因。
虽然模型表征在一定程度上能够编码局部视觉和语义特征（例如不同犬种的纹理或颜色），但在视觉和语义上更为不同的概念之间的全局关系（例如狗和鱼）的建模则远没有那么系统化。
与此相反，人类的神经表示是由全局特征组织起来的，并在多个更细的尺度上捕捉微妙的语义关系。
因此解决深度学习模型和人类的差异的关键在于模拟这种人类多层次概念结构的处理方式来解决神经网络面临的泛化挑战。
针对这一问题，研究人员提出了一个新的框架——AligNet。
该框架旨在通过模拟大量类似人类的相似性判断数据集来提高模型与人类的对齐度。
首先训练一个教师模型来模仿人类的判断，然后将这种类人的结构表征迁移到预训练后的视觉基础模型中。
通过这种方式训练后的模型可以在一系列相似性任务中更准确地近似人类的行为和不确定性包括一个新的跨越多个语义抽象层次的人类判断数据集在内。
此外还将额外的人类知识注入神经网络后学习到的表征更符合人类认知也更为实用为更强大可解释和类人的AI系统铺平了道路。
同时研究团队还提供了一套开源的视觉模型通过软对齐编码了分层的人类知识其普遍意义在于使得科学医学和工业等领域能够使用更类人和鲁棒的视觉模型进行下游应用任何研究人员或从业者都可以无限制地使用这一技术成果及其改进方法极大地推动了人工智能的进步和实际应用落地的前景。
具体来说研究人员使用仿射变换来对齐神经网络模型表示与人类在三元组异类任务中的语义判断并利用THINGS数据集开发了一个人类判断的教师模型与此同时通过保持模型的局部表征结构来规范对齐过程并额外利用人类恢复的不确定性度量来改善模型校准然后利用这一教师模型应用到ImageNet上生成了大量的语义相似性三元组研究人员将该数据集称为AligNet。
为了将这种精心构造的类人相似性结构信息迁移到预训练的神经网络基础模型中研究人员引入了一种基于Kullback-Leibler散度的新目标函数将语义信息蒸馏到一个学生视觉基础模型中实现了教师学生模型的精准对齐以及知识迁移这一技术极大地提高了模型的泛化能力和应对未知数据的鲁棒性并且通过对齐过程使得模型的内部表示更好地反映了人类概念知识的层次结构这一突破对于理解人工智能与人类智能之间的差异以及实现类似人类智能的人工智能至关重要。
总的来说这项工作不仅有助于更好地理解人工智能与人类智能之间的主要差异而且还提出了一种可能对实现类似人类智能的人工智能至关重要的原则即关注人类知识中的多分辨率关系结构对于创建真正智能化的世界有着极为重要的启示价值。
。
四、实验结果为了验证AligNet框架的有效性研究人员验证了模型在THINGS三元组异类数据上的表现接近人类噪声上限的66.67%。
通过对教师模型进行不确定性蒸馏优化后发现人类在三元组异类任务中一致响应率高达经过特殊优化的6更高比列提高了多达数十个百分点甚至在特定情况下接近了人类的判断能力这一结果充分证明了软对齐技术的有效性此外研究人员还发现无论预训练任务和目标函数是什么或是其他认知相似性任务和相似性度量方式软对齐技术都能够提高模型在特定任务上的表现使其行为更加接近人类的思维方式这表明软对齐技术具有很强的通用性和适用性此外研究人员还探讨了软对齐技术如何影响模型的内部表示通过收集全新的人类语义判断评估数据集Levels并设计了不同难度级别的三元组异类任务研究人员发现模型在处理涉及较少视觉或语义重叠的实体之间关系时表现最差这也验证了模型在处理更抽象的类别层次时的挑战通过软对齐技术显著改变了模型的内部表示使其更贴近人类的思考和判断能力研究分析了这是通过以下两个方面实现的即软对齐通过教师模型和一种新思路在制定清晰类似人的规则和认知偏差算法给学生基础学习模型的引入形成可视化新的难以复制感知或仿造更深入理解的抽象认知规则并使得学生基础学习模型能够在训练过程中更好的理解学习并模仿教师的思路同时生成更多贴近人类思维的响应结果这些改变有助于实现更接近人类的智能化行为通过泛化这些策略能够助力我们打造更接近真实人类思维的人工智能体系使人工智能更加适应复杂多变的真实世界场景从而推动人工智能技术的不断进步和发展五、总结与展望该研究通过提出AligNet框架实现了神经网络与人类知识结构的良好对齐从而提高了模型的泛化性和鲁棒性为实现更强大的AI系统铺平了道路该研究的重要性在于它揭示了人工智能与人类智能之间的差异并提出了解决这一问题的可能途径未来随着研究的深入我们可以期待更加精细化的对齐方法以及更加高效的神经网络架构的出现这将进一步推动人工智能的发展使其更好地服务于人类社会同时该研究也提醒我们在追求人工智能的进步过程中应关注其伦理和社会影响确保技术的健康发展造福人类社会总之该研究为我们理解和实现人工智能提供了宝贵的启示和思路并将引领人工智能领域未来的发展方向实现真正的智能化世界仍需要我们不断探索和努力。
END

---

---

相关标签： 鲁棒性、 论文、 聚类、 人工智能、 相似性、 神经网络、

上一篇：跟随刘雯共赴Gucci之旅黄金记忆的回响

下一篇：LLM群体智能的崛起