补齐Transformer规划短板又不放弃快速思考，Dualformer双重优势

机器之心报道：MetaFAIR田渊栋团队创新研究，以人类认知理论启发的新型Transformer架构Dualformer破解AI推理难题

随着人工智能（AI）技术的飞速发展，大型语言模型（LLM）的推理过程逐渐引起了人们的关注。
近期，来自MetaFAIR团队的田渊栋等人的一项创新研究为我们揭示了如何从人类认知理论中汲取灵感，研发出一种名为Dualformer的新型Transformer架构，该架构能显著提升AI的推理能力。

一、背景介绍

近期的研究表明，人类的思考过程受到两个系统的控制：系统1和系统2。
系统1涉及快速、直觉性的思考，而系统2则涉及更为复杂、慢节奏的推理过程。
尽管大型语言模型已经在许多任务上取得了显著成果，但它们往往无法有效地结合这两种思考模式。
田渊栋团队从这一人类认知理论中获得灵感，提出了一种新型的解决方案。

二、Dualformer的诞生

为了模拟人类的系统2推理过程，田渊栋团队设计了一种新型的Transformer架构——Dualformer。
该架构允许用户在推理过程中指定使用快速或慢速模式，或者由模型自行决定。

在研究中，他们借鉴了A算法寻找最短路径的思想，并训练一个Transformer来建模表示规划任务的token序列。
为了模拟系统2推理过程，他们在包含推理轨迹和最终解答的数据上进行训练。
利用推理步骤的结构，他们设计了特定的轨迹丢弃策略，使得生成的轨迹类似于系统1在思考过程中采取的捷径。
在训练过程中，他们的策略是随机选择这些结构化的轨迹丢弃策略。

三、实验与结果

为了验证Dualformer的有效性，田渊栋团队进行了一系列实验。实验目标包括解答以下三个问题：

1. Dualformer在快速、慢速和自动模式下的表现是否优于相应的基线？
2. 在慢速模式下，Dualformer是否能实现更快的推理，即输出更短的轨迹？
3. 结构化的轨迹丢弃技术是否适用于在自然语言数据集上训练的LLM？

实验结果显示，Dualformer在生成正确和最优规划方面明显优于基线。
尤其在更大的迷宫问题中，Dualformer的优势更为明显。
Dualformer还能稳定地生成更多样化的规划，证明了其稳健性。

在实验过程中，他们还发现Dualformer可以轻松地通过提示词指定以快速或慢速生成模式运行。
在标准提示词之后添加一个bos和一个控制token，即可轻松控制Dualformer的运行模式。
这种控制机制非常简单，使得Dualformer具有非常吸引人的特性。

四、应用与前景

除了迷宫和推箱子任务外，田渊栋团队还将Dualformer应用到了数学推理任务中。
他们使用包含各种数学问题和答案的数据集对Llama-3-8B和Mistral-7B模型进行微调。
实验结果表明，使用轨迹丢弃技术和随机训练策略的模型更加有效和高效。
这一发现为大型语言模型在数学推理任务中的应用提供了新的可能性。

田渊栋团队的这项研究为我们提供了一种新型的思考模式，通过结合人类认知理论中的系统1和系统2思考模式，开发出一种高效的AI推理架构。
Dualformer的出现将为AI领域带来新的突破，使得AI能够更好地模拟人类的思考过程，从而解决更为复杂的问题。

---

---

相关标签： 算法、 轨迹、 推理、 序列、

上一篇：究竟是何大事引发各界瞩目？

下一篇：全新技术呈现卓越性能一加京东方联合推出第