“超级智能可能会即将到来，也可能不会。但无论如何，有很多值得担心的事情。”

近日，人工智能领域的“叛逆者”、纽约大学心理学与神经科学荣誉教授Gary Marcus发布了一篇文章，指出“我们需要停止担心机器人接管世界，而是更多地考虑那些坏人可能会利用大型语言模型（LLMs）做什么，以及我们可以采取什么措施来阻止他们”。

Marcus此前与马斯克等上千人联名呼吁“所有人工智能实验室应立即暂停训练比GPT-4更强大的大模型，且时间至少为6个月”。

在Marcus看来，AI风险并不等同于AGI（通用人工智能）风险。尽管许多人将人工智能风险视为超级智能或AGI的风险，但并非只有超级智能才能引发严重的问题。比如，Bing和GPT-4等不可靠但被广泛部署的人工智能，也会对现实世界造成不可忽视的风险。

我想借此机会分享一些我对这一主题的思考。

人工智能会消灭人类吗？我不知道，你也不知道。

然而，深度学习三巨头之一的Geoff Hinton已开始对此表示担忧，我也一样。上周，我通过小道消息了解到Hinton的担忧，他最近也公开承认了这一点。

Hinton在接受CBS News采访时，被问到人工智能是否可能“消灭人类”时，他表示：“这并非不可想象（It’s not inconceivable）。我只想说这些。”

放大他的忧虑后，我提出了一个思想实验：

为实现更快的编码速度和有趣的聊天机器人，值得冒1%的风险吗？

很快，数以百计的人，包括马斯克在内，也加入了这个讨论。

Hinton、马斯克和我很少在同一问题上达成一致。马斯克和我本周早些时候签署了一封由生命未来研究所（FLI）发出的公开信。

该公开信指出，最近几个月，人工智能实验室陷入了一场失控的竞赛，无法理解、预测或可靠地控制自己创造的大模型。人类社会也没有做好准备应对其可能产生的影响。因此，Marcus等人在公开信中呼吁，所有人工智能实验室应立即暂停训练比GPT-4更强大的人工智能模型，这一时间至少为6个月。

自发布这些推文后，我一直面临反击和质疑。一些人认为我误解了Hinton的言论（基于我的独立来源，我并不这么认为）；另一些人则抱怨我关注了一系列“错误的风险”（要么过于关注短期，要么过于关注长期）。

一位杰出的同行质问我：“这封公开信难道不会导致人们对即将到来的AGI、超级智能等产生不必要的恐惧吗？”一些人对我放大Hinton的担忧感到非常惊讶，以至于在推特上展开了一系列关于我个人信念的讨论。

实际上，我的信念并没有改变。我仍然认为大型语言模型（LLMs）并非与超级智能或AGI直接相关；我同Yann LeCun的看法一致，认为LLMs是迈向AGI的一条“匝道”。

我对最坏情况的设想或许与Hinton或马斯克不同；据我了解，他们的关注似乎主要集中在计算机快速且彻底自我改进会带来的后果，而我认为这并非当前的可能性。

我要探讨的问题是：尽管很多人将人工智能的风险等同于超级智能或AGI的风险，但并非只有超级智能能导致严重问题。

目前，我并不担心“AGI风险”（即无法控制的超级智能机器），而是担忧我所称的“MAI风险”——那些不可靠（如Bing和GPT-4）但被广泛部署的人工智能，尤其是其使用者数量与软件对世界访问的影响。

某家人工智能公司刚刚获得了3.5亿美元的投资，旨在使LLMs能够访问几乎所有事物（目标是通过LLMs“增强用户在世界任何软件工具或API上的能力”，尽管它们显然存在幻觉和不可靠的倾向）。

许多普通人，或许智力高于平均水平，但并不一定是天才，历史上曾造成了各种问题；在许多方面，关键变量并非智力，而是权力。原则上，一个拥有核密码的愚蠢之人也能毁灭世界，仅需很少的智力和不该有的访问权限。

如果LLMs能够骗取一个人手中的验证码，正如OpenAI最近观察到的那样，那么在坏人手中，这种能力可能导致多种混乱。当LLMs仅作为实验室中满足人们好奇心的产物存在时，它们并不会造成大问题。但如今，它们已为大众所知，引起了坏人的注意，越来越多地被赋予与外部世界（包括人类）联系的能力，从而可能造成更大的破坏。

尽管人工智能社区经常关注长期风险，但我并非唯一担心严重短期影响的人。欧洲刑警组织（Europol）发布了一份报告，探讨了一些犯罪的可能性，令人警觉。

他们强调了LLMs生成错误信息的潜力。例如，网络钓鱼和在线欺诈可以更快、更真实地产生，同时规模明显扩大；LLMs可能“被滥用……误导潜在受害者相信某些罪犯”。

除了上述犯罪活动，ChatGPT的能力也可能在宣传和虚假信息领域遭到滥用。

许多人可能因此而丧生；文明可能会遭到彻底破坏。也许人类不会真正“从地球上消失”，但局势确实可能变得非常糟糕。

这种可能性有多大？我们没有确切答案。我说的1%只是一种思想实验，但并非为零。

“这并非不可想象”，Hinton的说法完全正确。我认为它既适用于Eliezer Yudkowsky等人担忧的长期情况，也适用于Europol和我关心的一些短期情况。

真正的问题在于控制。正如Hinton所担心的那样，如果我们失去对可以自我改进机器的控制，会发生什么呢？我不清楚我们何时会拥有这种机器，但我知道我们对目前的人工智能没有足够的控制，尤其是当人们可以将它们与现实世界的软件API连接起来时。

我们需要停止担心机器人接管世界，而应更多关注那些坏人可能利用LLMs做什么，以及我们可以采取什么行动来阻止他们。

当然，我们也需要对LLMs保持审慎的视角，将其视为未来智能的一点“火星”，并反思“我们究竟要对未来的技术做些什么，这些技术将可能变得更加难以控制”。

Hinton在接受CBS News采访时表示：“我认为，现在人们对这些问题的担忧是合理的，尽管不会在未来一两年内发生。”对此，我深表赞同。

这并不是一个非此即彼的情况；目前的技术已经带来了巨大的风险，而我们对此却准备不足。随着未来技术的发展，情况很可能会变得更糟。批评人们关注“错误的风险”对任何人都没有帮助；目前已经有足够多的风险存在。

我们所有人都需要采取行动。

暂停6个月？反击开始

在Marcus与马斯克等上千人联名呼吁至少暂停大模型研究6个月后，业内人士对此有赞同也有反对。其中，反对者包括人工智能知名学者吴恩达。

吴恩达认为，暂停研究比GPT-4更强大的人工智能模型是“一个可怕的想法”。

“我看到GPT-4在教育、医疗、食品等多个领域涌现出新的应用，这将帮助许多人。改进GPT-4是有益的。我们需要平衡人工智能创造的巨大价值与现实的风险。”

同时，吴恩达表示，除非政府介入，否则没有现实的方法来实施暂停并阻止所有团队扩大LLMs的规模。让政府暂停他们不了解的新兴技术是反竞争的，会树立一个糟糕的先例，让创新政策变得乏力。

此外，负责任的人工智能至关重要，人工智能的确存在风险。媒体普遍认为，人工智能公司在疯狂地生成不安全的代码，但这并不属实。绝大多数（可悲的是，并非所有）人工智能团队都认真对待负责任的人工智能和安全问题。

“6个月的暂停期并不是一个实用的建议。为了促进人工智能的安全，围绕透明度和审计的法规将更为切合，也会产生更大影响。与此同时，在推动技术发展的同时，我们也应加大对安全的投资，而不是让进步受阻。”

在Hacker News上，我看到有一句话：“你无法阻止此类研究的发生。你只能阻止有道德的人去做这种研究。我宁愿让有道德的人继续开展这些研究。”

对此，您怎么看？