GPT-4可能会杀死人类！已“进化”出了无法解释的推理能力

“人工智能确实可以杀死人类。”

这不是危言耸听，而是OpenAI 奥特曼首席执行官的最新观点。

奥特曼正在与MIT研究科学家Lex合作 在Fridman长达2小时的对话中透露。

不仅如此，奥特曼还谈到了最近关于ChatGPT的许多问题，并承认即使是OpenAI团队也不明白它是如何“进化”的：

从ChatGPT开始，AI就有推理能力。但是没有人能解释为什么会出现这种能力。

唯一的办法就是问ChatGPT问题，从它的回答中探索它的想法。

针对马斯克在推特上的“危险论”，他直言:

马斯克是我心中的英雄，我支持和理解他的担忧。

虽然他在推特上很混蛋，但我希望马斯克能看到我们在解决AGI安全问题上做了多少努力。

此外，奥特曼还提到了许多棘手的话题，例如：

ChatGPT、GPT-4开发的内幕

GPT-4是人类迄今为止实现的最复杂的软件

怎样看待大家拿着ChatGPT越狱？

……

看完这场对话，网友直呼：

两位AI大佬用大家都能理解的方式谈AI，多来点这样的采访。

接下来，让我们来看看他们的深入对话。

GPT-4内幕大曝光

GPT-4是这次对话中最受关注的部分。

它是如何训练的？训练模型时如何避免浪费计算能力？人工智能如何回答不同价值观的人的问题？

第一个是训练过程，仍然是预训练 RLHF，但透露了一点具体细节。

GPT-早在去年夏天就已经完成了训练，之后就一直在进行对齐工作，使其更符合人类的需要。

RLHF使用的数据与预训练数据集相比很少，但效果是决定性的。

奥特曼透露了一点数据来源，包括合作伙伴提供的一些开源数据集和一些数据集。

当然，在Reddit论坛上，数据集中也有一点迷因梗（meme），但不多。奥特曼遗憾地说：

如果再多一点，它的答案可能会更有趣。

即便如此，球队甚至奥特曼自己也无法完全解读GPT-4。

目前，对它的解释仍然是通过不断的问题和回答来判断它的“想法”。

而且在不断的测试中，OpenAI发现，从ChatGPT开始，GPT系列出现了推理能力。

虽然ChatGPT大多被用作数据库，但它确实有一定的推理能力。至于这种能力是如何出现的，目前还没有人能回答。

但大型训练往往意味着大量的计算能力需求。奥特曼再次提到了OpenAI独特的训练预测：

即使模型很大，团队也有办法只通过部分训练来预测整个模型的性能，就像一个1岁的婴儿能否通过SAT考试一样。

在GPT-4论文和官方博客中也有更详细的介绍。

最后，奥特曼承认，GPT-处理不同价值观的人确实存在问题。

临时解决方案是更改系统信息（system message）对用户开放的权限，即ChatGPT中经常看到的“我只是一个语言模型……”。

通过改变系统信息，GPT-4将更容易扮演指定的角色，比在对话中提出要求更受关注。例如，GPT-4将像苏格拉底一样说话，或者只以JSON格式回答问题。

因此，谁最有可能将GPT系列载入人工智能史册？奥特曼不认为这是GPT-4：

从可用性和RLHF的角度来看，ChatGPT无疑是最具里程碑意义的，其背后的模型并不像产品那样实用。

CEO最会打太极

GPT-论文没有透露更多的细节，比如参数规模、训练数据集大小等。，而且越来越不Open被外界吐槽。

在这次采访中，面对主持人的一步一步追问，奥特曼依然守口如瓶。

GPT-预训练数据集有多大？奥特曼只是介绍了公共数据集、合作伙伴内容（如GitHub提供的代码）和网络内容。

就像ChatGPT也可以写的那种赛博八股文，只有说到Reddit，才透露网络梗图在训练数据中所占比例不大，“否则ChatGPT可能会更有意思”。

GPT-4模型参数有多大？奥特曼只是说之前疯传的100万亿参数是谣言，然后又被忽悠了。

我认为人们被参数竞赛所吸引，就像过去被CPU主频竞赛所吸引一样。如今，人们不再关心手机处理器有多少赫兹，而是关心这个东西能为你做些什么。

然而，奥特曼对一种说法持积极态度——“GPT-四是人类迄今为止实现的最复杂的软件。

然而，当主持人Lex突然抛出GPT-4的一些尖锐观点时，奥特曼的反应也堪称“AI般淡定”(狗头)。

比如GPT-4越狱，前段时间闹得沸沸扬扬。

只用了30分钟，斯坦福教授就诱导GPT-4制定了越狱计划，并全部展示出来。

奥特曼说，就像iPhone也面临着被“黑”或越狱的问题一样(比如当年免费的越狱版App Store）同样，这也不是不可能解决的。

奥特曼甚至承认，他越狱了第一部苹果手机——甚至认为这是一件很酷的事情。

但是现在做苹果越狱的人不多了，因为不越狱就够好用了。

奥特曼说，OpenAI的应对理念是一样的，也就是说，它使功能足够强大。他甚至表示，他愿意为用户在这方面开放更多权限，以了解他们真正想要什么。

此外，Lex还提到了马斯克对奥特曼的批评。

虽然奥特曼是当年被马斯克提拔的人才，但现在马斯克不仅退出了他们联合创办的OpenAI，还对OpenAI的现状非常不满，经常在推特上怪这家公司。

为什么我捐赠了1亿美元成立的非营利组织会成为一家市值300亿美元的营利公司？假如这是合法的，为什么别人不这样做呢？

作为现任OpenAICEO，奥特曼并没有直接回应此事，而是嘲笑马斯克在航天领域经常受到“老前辈”的批评。

这一系列的采访问答让人想起了奥特曼在ChatGPT发布后对记者“将ChatGPT融入微软必应和Office”的回应:

你知道我不能发表评论。我知道你知道我不能发表评论。你知道我知道你知道我不能对此发表评论。

在这种情况下，你为什么要问呢？

GPT的“偏见”不会消失

在迭代过程中，GPT必然存在“偏见”，不能完全中立。

奥特曼回应说，当主持人提到ChatGPT和GPT-4的偏见时。

在推出之初，ChatGPT并不是一种成熟的产品，它需要不断迭代，而在迭代过程中，仅仅依靠内部力量是无法完成的。

在外部世界的集体智慧和能力的帮助下，“提前”推出ChatGPT技术，也可以让全世界参与到“塑造人工智能”的过程中。

不同的人对问题有不同的看法，所以在这个过程中，“偏见”问题是不可避免的。

甚至奥特曼也透露，在GPT中，“偏见”永远不会消失。

他将外部参与GPT建设比作“公开领域建设的权衡”。

GPT生成答案是个性化控制的结果，迭代过程是更准确地控制“个性化”的过程。

有趣的是，在此期间，奥特曼还暗戳马斯克的推特“背刺”:

我们正在寻找推特摧毁的多样性。

(嗯，奥特曼懂一些话)

当然，说到ChatGPT，总是绕不开它背后的公司OpenAI，成立之初就建立了两个Flag：

1、非营利性

2、通用人工智能（AGI）

现在，八年过去了，这两个Flag也发生了很大的变化:AGI的旗帜还在高举，而不是盈利的旗帜已经摇摇欲坠。

奥特曼也分别回应了这一点。

奥特曼直言不讳地表示，OpenAI“非营利性”的逐渐削弱，很久以前，他就意识到非营利性不是长久之计。

OpenAI的研究远远不够，仅仅依靠非营利筹集的资金，商业化是必然选择。

然而，在那之后，奥特曼也试图“找到补偿”，称目前的商业化程度仅限于满足投资者和员工的固定回报，剩余资金仍将流向非营利性组织。

说到AGI，一开始OpenAI声称要做通用人工智能的时候，还是有很多人在嘲讽。现在GPT-4这样的产品已经做出来了。回头看，嘲讽的声音越来越少。

面对外界的询问“”GPT-4是AGI吗？”在这样的问题上，奥特曼直接给出了他对AGI的理解：

AGI所掌握的知识应超过人类科学知识的总和，并具有创造性，能够促进基础科学的发展；

目前所有GPT都做不到这一点，要想达到AGI，还需要在当前GPT范式上进行扩展，至于如何扩张，正是目前缺乏的。

值得一提的是，当谈到AGI时，奥特曼在采访中很少有“眼睛闪闪发光”的时刻。

值得一提的是，当谈到AGI时，奥特曼在采访中很少有“眼睛闪闪发光”的时刻。

他抛出了一句“科研分子理想情怀”的金句:

也许AGI是乌托邦，永远无法到达，但这个过程会让人类变得越来越强大。

但奥特曼并不否认过于强大的AGI“可能杀死人类”的观点：

我必须承认，(AI杀死人类)有一定的可能性。

许多关于人工智能安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽快找到解决问题的方法。

One More Thing

谈话结束时，Lex Fridman还试图让奥特曼给年轻人讲一些建议，奥特曼直接来了一个“反鸡汤文学”：

网上的“成功学习”帖子太吸引人了，建议不要听太多建议。

现在这样做，我只是忽略了建议。