电视几年前，牛津哲学家尼克·博斯特罗姆发表了 超级智能，这本书探讨了如何制造超级智能机器以及这种技术可能产生的影响。其中之一是，如果制造出这种机器，它将很难控制，甚至可能为了实现其目标而接管世界（在博斯特罗姆著名的思想实验中，其目标就是制造回形针）。
这本书非常畅销，引发了激烈的争论，但也招致了不少异议。批评者抱怨说，这本书基于对“智能”的简单看法，高估了超级智能机器在近期出现的可能性，而且未能为其提出的问题提出可靠的解决方案。但它的一大优点是让人们思考一种迄今为止仅局限于学术界和科幻小说边缘的可能性。
如今，10 年后，又一次向同一目标发起了进攻。不过，这一次不是一本书，而是一篇内容丰富的论文（165 页），标题为 态势感知：未来十年。作者是德国小伙子利奥波德·阿申布伦纳 (Leopold Aschenbrenner)，他现在住在旧金山，经常和硅谷那些更有才华的人混在一起。从纸面上看，他听起来有点像山姆·班克曼-弗里德 (Sam Bankman-Fried) 模子里的神童——十几岁时毕业于美国一所精英大学的数学天才，曾在牛津与人类未来研究所的人共事过一段时间，还曾在 OpenAI 的“超级对齐”团队工作过 (现已解散)，随后创办了一家专注于 AGI（通用人工智能）的投资公司，资金来自 Stripe 的创始人帕特里克·科利森 (Patrick Collison) 和约翰·科利森 (John Collison)，他们是一对精明强干、不支持失败者的家伙。
所以阿申布伦纳很聪明，但他也有自己的利益。第二点可能很重要，因为他这篇长文的主旨是超级智能即将到来（以 AGI 为垫脚石），而世界还没有做好准备。
这篇论文分为五个部分。第一部分描绘了从 GPT-4（我们现在所处的位置）到 AGI（他认为最早可能在 2027 年到来）的路径。第二部分追溯了从 AGI 到真正的超级智能的假设路径。第三部分讨论了超级智能机器将给世界带来的四个“挑战”。第四部分概述了他所谓的管理一个配备（由？）超级智能机器的世界所需的“项目”。第五部分是阿申布伦纳以“AGI 现实主义”的三个“原则”形式向人类传达的信息。
在对人工智能近期发展的看法中，阿申布伦纳基本上是一个乐观的决定论者，他根据趋势持续的假设来推断最近的过去。如果不延伸它，他就看不到向上倾斜的图表。他根据能力对 LLM（大型语言模型）进行评分。因此，GPT-2 是“学龄前儿童”水平；GPT-3 是“小学生”；GPT-4 是“聪明的高中生”，而计算能力的大幅提升显然会在 2028 年让我们拥有“与博士或可以与我们一起工作的专家一样聪明的模型”。顺便说一句，为什么人工智能的支持者总是将博士学位持有者视为人类完美的典范？
2028 年之后，真正的大跃进即将到来：从 AGI 到超级智能。在阿申布伦纳的宇宙中，人工智能并不止于人类水平的能力。“数亿个 AGI 可以自动化人工智能研究，将十年的算法进步压缩到一年。我们将迅速从人类水平发展到远远超过人类的人工智能系统。超级智能的力量和危险将是巨大的。”
时事通讯推广后
论文的第三部分从四个方面探讨了这样一个世界可能会是什么样子：运行这个世界所需的难以想象的（并且对环境造成灾难性的）计算要求；在这样的世界中维护人工智能实验室安全的困难；将机器与人类目的相结合的问题（阿申布伦纳认为，这很难，但并非不可能）；超级智能机器世界对军事造成的后果。
直到谈到第四个话题时，阿申布伦纳的分析才真正开始在主题上站不住脚。贯穿他思想的是核武器的类比，就像布莱克浦岩石棒中传递的信息一样。他认为，美国在人工智能方面处于与罗伯特·奥本海默在新墨西哥州进行首次三位一体测试之后的阶段——领先于苏联，但持续时间不长。当然，在这个比喻中，中国扮演着苏联帝国的角色。
突然之间，超级智能从人类面临的问题变成了美国国家安全的紧急问题。“美国处于领先地位，”他写道。“我们必须保持领先。而我们现在却搞砸了。最重要的是，我们必须迅速彻底地封锁人工智能实验室，以免在未来 12-24 个月内泄露 AGI 的关键突破……我们必须在美国建立计算机集群，而不是在提供资金的独裁政权下。是的，美国人工智能实验室有责任与情报界和军方合作。美国在 AGI 方面的领先地位不会仅仅通过构建最好的人工智能女友应用程序来确保和平与自由。这并不好看——但我们必须为美国国防建设人工智能。”
所需要的只是一个新的曼哈顿计划。以及一个 AGI 工业综合体。
我读过的书
暴君射击
前东欧集团国家对特朗普当选总统感到恐惧 是一个有趣的作品 新共和 了解在暴政下生活的一些知识的人。
重游诺曼底
历史学家亚当·图兹 诺曼底登陆 80 周年：第二次世界大战和“大加速” 是对战争纪念日的反思。
合法妨碍
垄断综述：反垄断界的哈维·韦恩斯坦 这是马特·斯托勒 (Matt Stoller) 关于约书亚·赖特 (Joshua Wright) 的博客文章，约书亚·赖特是一位多年来对美国反垄断执法产生毁灭性影响的律师。
