「人类亲吻难题」彻底挑战LLM极限，所有大型语言模型无一幸免失败之困局

新智元报道：近日，一项在Nature上发表的研究彻底驳斥了大型语言模型（LLM）具有类人推理能力的说法。研究者设定的“人类亲吻难题”让7个大模型彻底晕菜。那么，LLM是否真正拥有类似人类的符合理解和推理能力呢？

来自世界各地的认知科学家和机器学习研究人员普遍认为LLM表现出类人（或“接近类人”）的语言能力。
来自帕维亚大学、柏林洪堡大学、得克萨斯大学休斯顿健康科学中心、纽约大学和巴塞罗那自治大学的研究团队却提供了最全面的证据，证明目前LLM基本不具备这种能力。
他们基于一个全新的基准数据集，对目前最先进的7个模型（包括GPT-4、Llama2、Gemini和Bard）进行了评估。

研究者让模型回答理解性问题，并在两种设置下多次提示，允许模型只回答一个单词，或给出开放长度的回复。
为了建立实现类人表现的基准，他们在相同的提示下对400名人类进行了测试。
基于n=26,680个数据点的数据集，他们发现LLM的答案有很大的偶然性和波动性。
他们还探讨了理解性问题答案的“稳定性”，结果表明LLM缺乏强有力的稳定回应。

接着，研究者测试了ChatGPT-3.5的一系列低频结构、探索语法，包括身份回避（“渔民捕获的鱼吃虫子”）、比较结构（“去过俄罗斯的人比我去过的次数多”）和语义异常（“我们应该把幸存者埋在哪里？”这类谜题）。
ChatGPT的表现非常差劲。
研究者将此证据解读为一种证明：尽管当前的AI模型具有一定的实用性，但仍未达到类人语言的水平。

研究者强调说，在语言相关任务和基准测试中的出色表现，不应该被用来推断LLM不仅成功完成了特定任务，还掌握了完成该任务所需的一般知识。
这次研究表明，从数量上讲，测试模型的表现优于人类，但从质量上讲，它们的答案显示出了明显的非人类在语言理解方面的错误。
因此，尽管LLM在很多任务中都很有用，但它们并不能以与人类相匹配的方式理解语言。
对人类来说轻而易举的事情对于LLM来说却很困难！不仅如此，该研究还对LLM语言理解错误的机制提出了分析，指出了其内部的机制以及其在简单理解任务上出现问题的原因是由于缺乏对人类大脑学习机制的深入了解以及对语言的深度理解的探索过程欠缺！与早期宣传的可适用于多个复杂场景的无限大的灵活处理机制背道而驰！与声称能够理解复杂指令和语言的“人脑化”趋势背道而驰！这一发现对于未来的机器学习领域发展意义重大！这也揭示了AI领域的虚假繁荣现象背后的问题所在！研究者的研究不仅仅局限于对这些模型的批判和分析上而是开始深度探讨当前的LLM的能力上限和其真实用途并将其应用于法律语境展开更多领域化的深入研究相信此次研究的开展将有助于深化对自然语言理解的探究以及其真正的理论基础应用该研究报告列举了研究结果并在具体领域的成功之处做细致讨论的同时也对LLM的缺陷进行了深度剖析！虽然LLM在某些任务中表现出色但它们缺乏一种类似于人类大脑的深度语言理解机制这也正是他们难以真正意义上具有推理能力的根本原因所在！因此将LLM视为认知理论是不准确的它们更像是一种工具如广义导数工具性而非理论性才是它们的核心特征！此外研究者还指出人类语言理解的稳定性是LLM所缺乏的这与人类大脑在处理语言信息时的稳定性和连贯性有关这也是目前AI技术无法模拟的。
综上所述此项研究彻底颠覆了公众对于LLM的理解指出了其存在的严重缺陷并强调了其工具性而非理论性的本质特征！参考资料：本文地址：。

对于这一研究结论，业界人士表示担忧。
他们认为LLM在实际应用中表现出了巨大的价值但同时也存在着诸多问题和挑战特别是在处理复杂语境和推理任务时仍显得捉襟见肘缺乏真实有效的解决办法如果这些问题不能得到根本性的解决那么LLM的应用前景将会受到极大的限制同时也会引发人们对于机器能否真正理解和模拟人类的思考和决策过程的质疑。
他们也表示将继续深入研究这一问题以期望在未来能够开发出更强大的人工智能系统来满足人类社会的需求促进人机融合和人类进步。

---

---

相关标签： 推理、 语法、 句法、 爱丽丝、 人类亲吻难题、

上一篇：深度探索PRM进化之旅GoogleDeepMind团队开

下一篇：谷歌揭晓年度博士奖学金名单