2010 年——远在 ChatGPT 和 Claude 以及其他所有活泼的对话式 AI 模型兴起之前——一群机器人在短时间内抹去了纳斯达克和其他证券交易所 1 万亿美元的价值。人们进行了长时间的调查，以查明发生了什么、为什么会发生——以及如何防止这种情况再次发生。 证券交易委员会的报告 此事被归咎于高频交易算法意外地进行无意识的“烫手山芋”合约来回买卖。
这次事件被称为“闪电崩盘”，相对于未来而言，这似乎有些奇怪。这是因为，即使在人工智能大肆宣传的背景下，人工智能革命中一个迫在眉睫的部分却没有得到充分研究：“代理”。代理是代表人类独立行动的人工智能。正如 2010 年的闪电崩盘所表明的那样，自动化机器人已经投入使用多年。但大型语言模型现在可以将任何人表达的简单语言目标转化为计算机可解释和执行的具体指令——不仅仅是在证券交易等狭窄的专业领域，而是在整个数字和物理世界中。这样的代理很难理解、评估或对抗，一旦被释放，它们就可以无限期地运行。
对于今天的所有 对人工智能安全的担忧，包括潜在的 生存风险，目前还没有针对这些新兴人工智能代理的特别普遍的警告或相应的监管。曾经有过关于人工智能被赋予（或为自己设定）一个任意且看似无害的目标的思想实验，例如 制造尽可能多的回形针 尽可能地减少人类的资源，但当它把人类的所有资源都转向这个目标时，就会造成灾难。但是，除了面对一个偏执的超级智能之外，我们必须关注更紧迫但平淡无奇的问题，这些问题是由绝对非投机的当代代理人造成的。这些可能会搞砸，要么是那些启动它们的人的恶意，要么是意外的，当被委托使用一些不当的词语时，就会出现猴爪式的失误。例如，加拿大航空公司最近就经历了后者，当时它设置了一个聊天机器人来为客户提供帮助，并提示他们提供帮助，同时允许访问加拿大航空公司的网站以回答客户的问题。该机器人以一种比航空公司实际政策更慷慨的方式解释了一项丧亲票价政策。加拿大航空公司试图拒绝机器人的承诺，并且 失败的：仲裁庭裁定顾客应获得赔偿。
如今的代理不仅仅是一个典型的聊天机器人，它还具有三个独特的特点。首先，它们可以被赋予一个高层次的、甚至是模糊的目标，并通过自己的研究或工作独立采取措施来实现它。这个想法很简单，但很强大。例如，一年前，一个 有进取心的技术人员 开发了一种可以帮他订披萨的人工智能。他依靠 OpenAI 等公司开发的软件工具，创建了一个可以调度和指挥其他人工智能的“顶级人工智能”。这个顶级人工智能被赋予了一个目标——通过给定的电话号码通过语音订购一份意大利辣香肠披萨——然后它继续创建自己的任务列表，并开发出不同的版本来执行这些任务，包括对列表中的不同步骤进行优先排序，并生成一个能够使用文本到语音转换器拨打电话的版本。因此，人工智能能够找到并致电当地的披萨店并下订单。
这证明了智能体除了规划实现目标之外的第二个品质：它们可以与整个世界互动，随意使用不同的软件工具，就像你在浏览网页时打开 Excel 或下 DoorDash 订单一样。在 OpenAI 等公司的邀请和支持下，生成式人工智能模型可以吸收来自外界的信息，进而影响它。正如 OpenAI 说，你可以“将 GPT 连接到数据库，将其插入电子邮件，或将其作为你的购物助手。例如，你可以集成旅行清单数据库，连接用户的电子邮件收件箱，或促进电子商务订单。”代理商还可以接受和花钱。
人工智能的这种常规化不仅能与我们交谈，还能在现实世界中行动，它跨越了数字与模拟、比特与原子之间的血脑屏障。这应该让我们停下来思考。
一个非人工智能的例子浮现在我脑海中，它预示着未来可能发生的邪恶路线图。去年，一名男子在哈佛园外留下了一个装有电线和密码箱的包。哈佛警方随后 接到伪装声音的电话 警告说这是校园里的三枚炸弹之一，除非大学将钱转移到难以追踪的加密货币地址，否则所有炸弹都会很快爆炸。这个包被确定是无害的。这个威胁是个骗局。
当警方确认并逮捕了留下袋子的男子时，发现他只是回复了 Craigslist 上的一则广告，广告上说他要花钱组装这些物品，然后把物品带到校园。但那则广告背后的人——以及那些威胁哈佛的电话背后的人——一直没有被找到。放置这些电话的男子承认只是躲藏起来并删除了一些可能被定罪的短信，并在当局认定他不是该阴谋的始作俑者后被判缓刑。他不知道自己参与了敲诈勒索的阴谋。
此次事件可能并未涉及人工智能，但很容易想象，人工智能代理很快就能被用来诱导一个人按照哈佛敲诈案中的每个步骤行事，只需要最低限度的提示和指导。更令人担忧的是，此类威胁的规模很容易远远超过单个恶意人员单独能够做到的；想象一下，哈佛阴谋的幕后黑手能够同时在数百或数千个城镇实施阴谋。这种行为不必像炸弹威胁那样戏剧化。它可能只是像留意某个人加入社交媒体或求职网站，并立即不知疲倦地发布诋毁他们的回复和评论。
这揭示了人工智能代理的第三个特点：它们可以无限期地运行，允许人类操作员“设置好后就忘掉它”。代理可能是手工编码的，或由提供服务的公司提供支持，就像墓地提供永久的坟墓护理，或银行提供数十年的资金管理服务一样。或者，代理甚至可以在分布在数千台计算机上的匿名计算资源上运行，而这些计算机的所有者在设计上不知道正在运行什么，但他们却能获得计算能力的报酬。
这里的问题是，人工智能可能会继续运作，远远超出最初的用途。随着情况的变化，根本无法知道哪些腐朽剂可能会继续存在。如果没有框架来识别它们是什么、是谁设置的、以及如何以及在何种权力下关闭它们，代理人最终可能会像 宇宙垃圾：卫星被送入轨道后就被遗忘。不仅有可能与现役卫星发生一次性碰撞，还可能发生 碰撞的连锁反应：一次碰撞的碎片会引发进一步的碰撞，如此反复，最终形成一道可能无法通行的碎片屏障，阻碍未来的航天器发射。
如果代理开始流行，它们最终可能会在一个与最初激怒它们时截然不同的世界里工作——毕竟，这将是一个拥有大量代理的世界。它们可能会开始以意想不到的方式相互互动，就像 2010 年的闪电崩盘一样。在那种情况下，机器人是由人类创造的，但在意想不到的情况下，它们只是以奇怪的方式行事。在这里，被设定为实现模糊目标的代理也可能选择错误的方式来实现这些目标：一个学生要求机器人“帮我应付这门无聊的课程”，可能会在人工智能试图让事情变得有趣时，无意中发出电话炸弹威胁。这是一个被称为“ 奖励黑客其中人工智能模型和系统可以对某些激励做出反应或针对某些目标进行优化，但缺乏关键背景，只能抓住目标的字面意思，却无法抓住目标的精神。
即使没有发生碰撞，想象一下一支由亲弗拉基米尔·普京的特工组成的舰队 打持久战 通过加入爱好者论坛，认真讨论这些爱好，然后等待一个看似 有机、适当的时机 在有利的政治话题中工作。或者，特工可能被委托设置、宣传和交付悬赏金，以获取某人的私人信息，无论何时何地出现。特工可以在多年后兑现冲动的怨恨——据说复仇是一道冷盘，在这里它可以被冷冻。
这一说法的大部分内容仍是推测。代理尚未经历公开繁荣，而且就其本质而言，很难知道它们将如何被使用，或者帮助提供代理的公司将实施哪些保护措施。与许多其他现代技术一样，Agentics 可能有两个阶段：太早了，无法采取行动。
在这种情况下，我们应该寻找成本低廉、相对容易达成一致、不会造成负担的干预措施。耶鲁大学法学院的伊恩·艾尔斯和杰克·巴尔金就是其中的法律学者 开始搏斗 我们如何才能最好地对人工智能代理进行分类并考虑他们的行为。这在加拿大航空的案例中会有所帮助，因为机器人向客户提供了不准确的建议， 审理该索赔的法庭 对该航空公司的论点“聊天机器人是一个独立的法律实体，对自己的行为负责”持怀疑态度。评估代理人驱动的行为尤为重要，因为这种行为的性质取决于评估行为者的意图。假设等待着攻击受害者社交媒体帖子的代理人不仅贬低受害者，还威胁他们。艾尔斯和巴尔金指出，最高法院 最近举行 将真正的威胁定为犯罪需要发出威胁的人主观地认识到他们正在煽动恐惧。当不加思考的代理人发出威胁时，需要采取一些不同的法律方法来应对人工智能供应链的上下游。
技术干预可以帮助解决出现的任何法律区别。去年，OpenAI 研究人员 发布 一篇深思熟虑的论文，记录了一些代理危害。他们提出了运行人工智能机器人的服务器应该被识别的可能性，其他人也做出了努力 描述如何运作。
但我们也可以考虑改进现有的互联网标准，以帮助管理这种情况。数据已经通过“数据包”在线分发，数据包上标有发送者和接收者的网络地址。这些标签通常可以被数据包路由上的任何人读取，即使信息本身是加密的。数据包的数字形式上应该有一个新的特殊空白，以表明数据包是由机器人或代理生成的，也许还有一个地方可以表明它是何时由谁创建的——就像车牌可以用来追踪车主而不向旁观者透露他们的身份一样。
在互联网协议中允许使用此类标签将使软件设计者和用户有机会选择使用它们，并且它还将允许 DoorDash 和 Domino 应用程序背后的公司决定是否要将人类订购的 20 个披萨订单与机器人订购的订单区别对待。尽管任何此类系统都可能被规避，但监管机构可以帮助鼓励采用。例如，如果代理商的设计者和提供商决定为其代理商造成的损害贴上标签，则可以为其代理商造成的损害设定赔偿上限。
互联网路由提供了另一个教训。互联网没有主地图，因为它是为任何人设计的，不是通过中央交换机，而是通过连接到任何已经在线的人来加入。由此产生的网络依赖于路由器（中转站），这些路由器可以相互通信，了解它们认为的近处和远处。因此，数据包可以在路由器之间传递，直到到达目的地。然而，这也留下了一个可能性，即数据包最终可能会以自己的形式 永恒轨道，通过错误或恶意，在路由器之间永久传递。这就是为什么大多数数据包都有一个“生存时间”，这个数字有助于显示数据包从一个路由器跳转到另一个路由器的次数。计数器可能从 64 开始，然后数据包每经过一个路由器，计数器就减一。即使数据包还没有到达目的地，计数器也会减到零。
代理也可以也应该有一个标准化的结束方式：多少行动、多少时间或多少影响，都符合其最初的目的。也许设计为永久存在或产生巨大影响的代理可以接受更多的审查和评估——或者被要求有车牌——而更普通的代理则不需要，就像自行车和踏板车不需要车牌，而汽车则需要，拖拉机拖车需要更多的文件。这些干预措施较少关注人工智能模型在实验室中天生具备的能力，而更多关注代理人工智能的不同之处：它们在现实世界中行动，即使它们的行为在网络上有所体现。
现代科技飞速发展，很容易让我们认为必须在自由市场和严厉监管之间做出选择——创新与停滞。事实并非如此。正确的标准制定和监管手段可以使新技术足够安全，可以被普遍采用——包括让市场参与者更加谨慎地了解他们如何相互互动以及与客户互动。
在这种情况下，“现在下结论还为时过早”，这是盘点的好时机，也是我们在深层次上保持自主权的好时机。我们需要坐在驾驶座上，而不是被一个隐形司机护送，这个司机按照自己不可捉摸、不断发展的动机行事，或者按照一个在时间和空间上遥远的人类的动机行事。
本文改编自乔纳森·齐特林（Jonathan Zittrain）即将出版的有关人类获得权力和失去控制的新书。
1720057904
#我们现在需要控制人工智能代理
2024-07-02 11:00:00
