国家安全内部人士对人工智能的危险进行了计算

您长期以来一直非常感兴趣的一种风险是“生物风险”。 什么是 最糟糕的 可能发生的事情？ 带我们经历一下。

在从事国家安全工作之前，我最初从事公共卫生工作，主要从事传染病控制——疟疾和结核病。 2002年， 第一个病毒是从头开始合成的 在 Darpa 的一个项目上，对于生物科学和公共卫生界来说，这是一个“糟糕”的时刻，因为他们意识到生物学将成为一门可能被滥用的工程学科。 我与根除天花运动的退伍军人一起工作，他们想，“糟糕，我们只是花了几十年的时间根除一种现在可以从头开始合成的疾病。”

然后我转向生物安全工作，试图弄清楚，我们如何提高生物实验室的安全性，从而减少它们被使用的可能性？ 我们如何检测生物武器计划？ 不幸的是，在世界上一些地方仍然大量存在。 此外，我们如何才能为社会带来更多安全保障，以便我们在应对人为流行病和自然流行病时更具弹性？

社会中仍然存在很多脆弱性。 新冠疫情就是这一点的证明。 从历史角度来看，这是一种相对温和的病毒，其感染死亡率低于 1%，而有些天然病毒的死亡率远高于 50%。 有些合成病毒的致死率接近 100%，但仍像 SARS-CoV-2 一样具有传播性。 尽管我们知道如何快速设计和制造疫苗，但今天获得批准所需的时间与大约 20 年前一样多。 因此，今天为人群接种疫苗所需的时间与我们的父母甚至祖父母的时间大致相同。

2002 年，当我第一次开始对生物安全感兴趣时，花费了数百万美元来构建脊髓灰质炎病毒，一种非常非常小的病毒。 合成痘病毒（一种非常大的病毒）需要花费近 10 亿美元。 如今，成本已低于 100,000 美元，比同期下降了 10,000 倍。 与此同时，在此期间疫苗的成本实际上增加了两倍。 攻防不对称正在朝着错误的方向发展。

您认为我们在生物风险方面最大的对手是什么？

首先是自然。 天然病毒的进化仍在继续。 未来我们将面临病毒性大流行。 其中一些会比新冠病毒更严重，一些则不会像新冠病毒那么严重，但我们必须对这两种情况都保持弹性。 新冠疫情只让美国经济付出了代价 超过10万亿美元，但我们用于预防下一次大流行的投资可能是 20 亿至 30 亿美元的联邦投资。

另一类是故意的生物攻击。 奥姆真理教是日本的一个末日邪教，拥有生物武器计划。 他们相信，通过杀死地球上的所有人，他们将实现预言。 幸运的是，他们研究的是 20 世纪 90 年代的生物学，当时的生物学还没有那么复杂。 不幸的是，他们随后转向化学武器并发动了东京沙林毒气袭击。

今天，我们有一些个人和团体有造成大规模伤亡的意图，并且越来越多地表现出对生物学作为武器的兴趣。 阻止他们有效利用生物学的并不是对工具或原材料的控制，因为这些现在在许多实验室和 eBay 上都可以买到——你现在可以以不到 10 万美元的价格购买一台 DNA 合成器。 您可以从大多数科学用品商店获得所需的所有材料和消耗品。

世界末日组织所缺乏的是将这些工具变成生物武器的专业知识。 人们担心人工智能会让专业知识变得更广泛。 一些 这个调查 完成者 [AI safety and research company] Anthropic 研究了风险评估，看看这些工具是否会被那些没有很强生物背景的人滥用。 他们基本上可以从数字导师那里以大型语言模型的形式获得研究生水平的培训吗？ 现在，可能不会。 但如果你回顾一下过去几年的进展，就会发现想要实施生物攻击的人的进入壁垒正在消失。