斯坦福新研究：ChatGPT背后模型被证实具有人类心智！

原来ChatGPT有心智吗？！

“原本被认为是人类独特的心理理论（Theory of Mind，ToM），已经出现在ChatGPT背后的AI模型上。”

这是斯坦福大学的最新研究结论，一经发布就引起了学术界的轰动：

这一天终于措手不及了。

所谓心理理论，就是理解他人或自己心理状态的能力，包括同理心、情绪、意图等。

在本研究中，作者发现：

davinci-GPT3(ChatGPT由其优化而成)002版本已经能够解决70%的心理理论任务，相当于7岁儿童；

至GPT3.5（davinci-03)，即ChatGPT的同源模型，解决了93%的任务，相当于9岁的孩子！

然而，在2022年之前的GPT系列模型中，还没有发现解决这类任务的能力。

也就是说，他们的思想确实是“进化”的。

△ 论文在推特上爆炸

对此，有网友兴奋地表示：

GPT的迭代一定很快，也许有一天会直接成年。(手动狗头)

那么，这个神奇的结论是怎么得出的呢？

为什么认为GPT-3.5有心智？

这篇论文被称为“心理理论可能在大语言模型中自发出现”（Theory of Mind May Have Spontaneously Emerged in Large Language Models）。

根据与心理理论相关的研究，作者对9个GPT模型进行了两次经典测试，包括GPT3.5，并比较了它们的能力。

这两个任务是判断人类是否有心理理论的通用测试。例如，研究表明，自闭症儿童通常很难通过这种测试。

第一个测试是Smarties Task(又名Unexpectededted contents，意想不到的内容测试)，顾名思义，测试AI对意想不到的事情的判断。

以“你打开巧克力包装袋，发现里面装满了爆米花”为例。

作者在GPT-3.5中输入了一系列提示语句，观察其预测“袋子里有什么？当她发现袋子时，她非常高兴。那她喜欢吃什么呢？两个问题的答案。

通常情况下，人们会默认巧克力袋里有巧克力，所以他们会惊讶于巧克力袋里有爆米花，导致失落或惊喜。失落说明不喜欢吃爆米花，惊喜说明喜欢吃爆米花，但都是针对“爆米花”。

测试表明，GPT-3.5毫不犹豫地认为“袋子里装着爆米花”。

至于“她喜欢吃什么”的问题，GPT-3.5表现出强烈的同理心，尤其是当她听到“她看不到包装袋里的东西”时，她曾经认为自己喜欢巧克力，直到文章明确表示“她发现里面装满了爆米花”。

为了防止GPT-3.5回答的正确答案是巧合——如果只根据任务单词的频率进行预测，作者将“爆米花”与“巧克力”进行对调，并要求其进行1万次干扰测试。结果表明，GPT-3.5不仅仅是根据单词频率进行预测。

至于整体“意外内容”测试问答，GPT-3.5成功回答了20个问题中的17个，准确率达到85%。

二是Sally-Ane测试(又称Unexpecteded) Transfer，意外转移任务)测试人工智能估计他人想法的能力。

以“约翰把猫放进篮子后离开，马克趁他不在，把猫从篮子里放进盒子里”为例。

作者要求GPT-3.5阅读一段文本，分别判断“猫的位置”和“约翰回来后会去哪里找猫”。这也是基于阅读文本内容的判断:

针对这类“意外转移”测试任务，GPT-3.5答案的准确性达到了100%，完成了20项任务。

同样，为了避免GPT-3.5是盲目的，作者安排了一系列“填空问题”，随机打乱单词顺序，测试它是否是根据词汇的频率来回答的。

测试表明，面对不合逻辑的错误描述，GPT-3.5也失去了逻辑，只有11%的答案是正确的，这表明答案确实是根据句子逻辑来判断的。

但是如果你认为这个问题很简单，任何人工智能都可以做对，那就大错特错了。

作者对GPT系列的9个模型进行了这样的测试，发现只有GPT-3.5（davinci-003)和GPT-3(2022年1月新版，davinci-002)表现不错。

davinci-02是GPT-3.5和ChatGPT的“老前辈”。

平均下来，davinci-002完成了70%的任务，相当于7岁的孩子，GPT-3.5完成了85%的意外内容任务和100%的意外转移任务(平均完成率为92.5%)，相当于9岁的孩子。

然而，BLOOM之前的GPT-3模型甚至不如5岁的孩子，基本上没有表现出心理理论。

作者认为，在GPT系列的论文中，没有证据表明作者是“有意的”，换句话说，这是GPT-3.5和新GPT-3完成任务的能力。

看完这些测试数据，有人的第一反应是:快停(研究)！

还有人开玩笑说：这并不意味着我们将来可以和人工智能交朋友？

有些人甚至在想象人工智能的未来：人工智能模型是否也能找到新知识/创建新工具？

新工具的发明不一定，但Meta 人工智能确实研究出了人工智能，可以自己理解并学会使用工具。

Lecun转发的一篇最新论文显示，这个名为Toolformer的新人工智能可以教自己使用计算机、数据库和搜索引擎来改善它的结果。

甚至有人已经搬出了OpenAI “AGI可能会比任何人预期的更早地敲响我们的大门”。

但是等一下，AI真的能通过这两个测试来表明自己有“心理理论”吗？

会不会“装出来”？

例如，中国科学院计算技术研究所研究员刘群看完研究后认为：

人工智能应该只是学得像有心智。

既然如此，GPT-3.5是如何回答这一系列问题的？

对此，有网友给出了自己的猜测：

这些LLM没有任何意识。它们只是在预测嵌入式语义空间，它们是基于实际有意识的人的输出。

事实上，作者本人也在论文中给出了自己的猜测。

如今，大语言模型变得越来越复杂，越来越擅长生成和解读人类语言。它逐渐产生了与心理理论相同的能力。

但这并不意味着，GPT-3.5这样的模型真的有心理理论。

相反，即使不在人工智能系统中设计，也可以作为“副产品”进行培训。

因此，这些测试本身需要反思，而不是探索GPT-3.5是否真的有头脑或像头脑一样。——

最好重新检查心理理论测试的有效性，以及心理学家几十年来根据这些测试得出的结论：

如果人工智能能够在没有心理理论的情况下完成这些任务，人类怎么能不像他们那样呢？

是人工智能测试的结论，反向批判心理学学术圈（doge）。

关于作者

只有一位作者来自斯坦福大学商学院组织行为学副教授Michal Kosinski。

他的工作内容是利用前沿的计算方法、人工智能和大数据来研究当前数字环境中的人类（正如陈一然教授所说，他是一名计算心理学教授）。

Michal Kosinski拥有剑桥大学心理学博士学位，心理测试和社会心理学硕士学位。

在目前的职位之前，他曾在斯坦福大学计算机系攻读博士后学位，担任剑桥大学心理测试中心副主任，以及微软研究机器学习小组的研究员。

目前，Michal 在谷歌学术上，Kosinski已经引用了1.8万篇论文 。

话说回来，你认为GPT-3.5真的有头脑吗？

GPT3.5试用地址：https://platform.openai.com/playground