Anthropic 如何设计自己以避免 OpenAI 的错误

去年感恩节，布莱恩·伊斯雷尔发现自己被一次又一次地问到同样的问题。

人工智能实验室 Anthropic 的总法律顾问和科技界的其他人一样，目瞪口呆地看着这一切：距离 Anthropic 旧金山总部仅两英里的地方，其主要竞争对手 OpenAI 似乎正在崩溃。

OpenAI 董事会解雇了首席执行官山姆·奥特曼，称他失去了董事会的信任，此举似乎可能会让这家初创公司 800 多亿美元的估值一落千丈。此次解雇之所以发生，是因为 OpenAI 奇怪的公司结构，其董事没有为股东增加利润的受托责任——奥特曼本人曾参与设计这一结构，以便 OpenAI 能够构建强大的人工智能，不受市场不正当激励的影响。对许多人来说，这个计划似乎适得其反。五天后，在 OpenAI 的主要投资者微软、风险投资家和 OpenAI 自己的员工（他们持有该公司的宝贵股权）的施压下，奥特曼恢复了首席执行官一职，解雇他的三名董事中有两名辞职。“人工智能现在属于资本家，”《纽约时报》 時間 结论是，OpenAI 开始组建新的董事会，它看起来更适合一家高增长公司，而不是担心强大人工智能危险的研究实验室。

因此，那个周末，Anthropic 的投资者和客户疯狂地向以色列询问：同样的事情会发生在 Anthropic 吗？

Anthropic 与 OpenAI 一样，都是顶级的人工智能实验室，但其公司结构也非常另类。该公司也采用了类似的结构，以确保能够开发人工智能，而无需为了追求利润而偷工减料。但相似之处也就到此为止了。对于感恩节期间提出问题的所有人，Israel 的回答都是一样的：OpenAI 发生的事情不能发生在我们身上。

阅读更多： 在 Anthropic 内部，这家人工智能公司认为安全可以成为一种制胜策略

在 OpenAI 灾难发生之前，关于人工智能公司治理的问题似乎并不明晰。但现在很明显，人工智能公司的结构对于谁控制 21 世纪最强大的技术有着至关重要的影响。随着人工智能变得越来越强大，风险只会越来越高。5 月初，OpenAI 安全方面的两位领导人辞职。其中一位是 Jan Leike，他在一份离职声明中表示，安全已经“让位于闪亮的产品”，并表示如果 OpenAI 要安全地开发先进的人工智能，就需要进行“文化变革”。周二，Leike 宣布他已转投 Anthropic。（Altman 承认 Leike 的批评，说“我们还有很多事情要做；我们致力于去做。”)

Anthropic 以其不同于 OpenAI 的结构而自豪，但它的未来仍是一个问号。去年，Anthropic 筹集了 70 亿美元，主要来自亚马逊和谷歌——这些大型科技公司，如微软和 Meta，正在竞相争夺人工智能领域的主导地位。在某种程度上，它需要筹集更多资金。如果 Anthropic 的结构不够强大，无法抵御这些企业巨头的压力，它可能难以防止其人工智能变得危险，或者可能让其技术落入大型科技公司的手中。另一方面，如果 Anthropic 的治理结构比 OpenAI 更为稳健，该公司可能能够规划一条新路线——一条可以安全开发人工智能、免受自由市场最严重压力影响并造福整个社会的路线。

Anthropic 的七位联合创始人之前都曾在 OpenAI 工作过。Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 曾担任 OpenAI 的研究副总裁，他甚至撰写了 OpenAI 的大部分章程，这份文件承诺实验室及其员工将致力于安全开发强大的人工智能。可以肯定的是，Anthropic 的联合创始人于 2021 年离开了 OpenAI，远在 Altman 被解雇之前，OpenAI 的结构问题就暴露出来了。但他们的经历让他们想做不同的事情。阿莫迪告诉《时代》杂志，看到去年感恩节发生的崩溃，他觉得 Anthropic 的治理结构“是正确的方法”。“我们做事的方式，有这么多的制衡，让我们处于一个更难发生类似事情的境地。”

尽管如此，高风险还是让许多人质疑，为什么新颖且基本未经测试的公司治理结构会成为试图开发高级人工智能的公司行为的主要制约因素。“社会不能让人工智能的推广完全由私人科技公司控制，”海伦·托纳 (Helen Toner) 和塔莎·麦考利 (Tasha McCauley) 在一份报告中写道，这两位前 OpenAI 董事会成员去年投票解雇了阿尔特曼。 最近的文章 在 经济学家“私营部门做出了许多真诚的努力，以负责任的方式引导这项技术的发展，我们对这些努力表示赞赏。但即使出于最好的意图，如果没有外部监督，这种自我监管最终也将无法执行，尤其是在巨大的利润激励压力下。政府必须发挥积极作用。”

“公益公司”

OpenAI 本质上是一家利润上限公司，由不对公司股东负责的非营利董事会管理，而 Anthropic 的结构更像一家传统公司。OpenAI 的董事会对股东负责，包括谷歌和亚马逊，这两家公司加起来向 Anthropic 投资了约 60 亿美元。（《时代》杂志联合主席兼所有者马克·贝尼奥夫担任 Salesforce 首席执行官） 较小的投资）但 Anthropic 运用了特拉华州公司法的一个特殊元素。它不是一家有限责任公司，而是一家公益公司 (PBC)，这意味着除了承担为股东增加利润的受托责任外，其董事会还有法律空间来遵循另一项使命：确保“变革性人工智能帮助人类和社会繁荣发展”。以色列说，这本质上意味着，如果董事会选择优先考虑安全而不是增加利润，股东将更难起诉 Anthropic 董事会。

然而，目前还没有明显的机制让公众起诉 Anthropic 董事会成员 不是 足够坚定地追求其公益使命。“据我所知，公众利益无法通过起诉来强制执行，”伊斯雷尔说。他说，PBC 结构赋予董事会“灵活性，而不是强制要求”。

风险投资家传递给公司创始人的传统观点是：创新你的产品，但不要创新你的业务结构。但 Anthropic 的联合创始人在 2021 年公司成立时决定无视这一建议，理由是，如果人工智能像他们认为的那样强大，那么这项技术将需要新的治理结构来确保它造福公众。“很多事情都由市场处理得很好，”Amodei 说。“但也有外部因素，最明显的是人工智能模型的风险 [developing] 自治问题，还有国家安全问题，以及其他问题，比如它们是否会以我们从未见过的方式破坏或扭曲经济。所以我想确保公司有能力处理这一系列问题。”

处于人工智能发展的“前沿”——构建比以往更大的模型，并且可能带来未知的能力和风险——需要格外小心。“在市场上与最好的公司合作具有非常明显的经济优势 [AI] 以色列说：“这两者之间至少存在理论上的矛盾。对我们来说，重要的是不要被迫进入 [launching] 我们不确定该模型是否安全。”

长期受益信托

对于 Anthropic 的创始人来说，将公司结构化为公益公司是一个很好的开端，但并没有解决谁应该进入公司董事会的问题。为了回答这个问题，他们于 2023 年决定成立一个单独的机构，称为长期福利信托 (LTBT)，该机构最终将获得选举和解雇董事会多数成员的权力。

LTBT 的成员在公司中没有股权，目前从董事会五名成员中选举一名。但根据以色列和《时代》杂志看到的 Anthropic 公司成立文件副本，今年 7 月，这一数字将升至五名成员中的两名，然后今年 11 月升至五名成员中的三名——与该公司目前已超越的融资里程碑一致。（拥有投票权股票的股东选举其余董事会成员。）

LTBT 的首批五名成员由 Anthropic 的高管挑选，因为他们在三个领域的专业知识对公司的使命至关重要：人工智能安全、国家安全和社会企业。入选者包括兰德公司首席执行官 Jason Matheny、发展非营利组织 Evidence Action 首席执行官 Kanika Bahl 和人工智能安全研究员 Paul Christiano。（Christiano 在一封电子邮件中表示，他已于 4 月辞去 LTBT 职务，担任美国政府新成立的人工智能安全研究所的负责人。他的职位尚未填补。）周三，Anthropic 宣布 LTBT 已选出公司董事会的首位成员：数据公司 Confluent 的联合创始人兼首席执行官 Jay Kreps。

Anthropic 表示，LTBT 会提前收到“可能显著改变公司或其业务的行动”的通知，并且“必须使用其权力确保 Anthropic 负责任地平衡股东的经济利益与受 Anthropic 行为和我们的公共利益目的影响的人们的利益”。

该公司在一份声明中表示：“Anthropic 将继续接受董事会的监督，我们预计董事会将在变革性人工智能的道路上做出重大决定。” 博客文章 在其网站上。但“在做出这些决定时，董事会的大多数成员最终将对信托和股东负责，因此将有动力适当平衡公众利益和股东利益。”

然而，以色列表示，即使是由 LTBT 选出的董事会成员也对 Anthropic 的股东负有受托责任。这种细微差别意味着，由 LTBT 任命的董事会成员可能无法采取像去年 11 月 OpenAI 董事会成员那样激烈的行动。这也是以色列在去年感恩节被问及时如此自信地说 OpenAI 发生的事情永远不会发生在 Anthropic 的原因之一。但这也意味着 LTBT 最终对公司的影响力有限：虽然它最终将有权选择和罢免大多数董事会成员，但这些成员实际上将面临与其他董事会成员类似的激励。

公司领导和一位前顾问强调，Anthropic 的结构本质上是实验性的。“据我所知，还没有人尝试过这种完全一样的架构，”哈佛法学教授诺亚·费尔德曼 (Noah Feldman) 表示，他在 Anthropic 建立治理结构的最初阶段担任外部顾问。“即使是世界上最好的设计有时也行不通，”他补充道。“但这个模型的设计经过了大量思考……我非常希望它能成功。”

亚马逊和谷歌的问题

根据 Anthropic 的成立文件，管理长期福利信托的协议有一个附加条件。如果绝大多数股东投票赞成，他们可以在未经五名成员同意的情况下重写管理长期福利信托的规则。Anthropic 表示，这一机制被设计为一种“安全措施”，以应对结构可能以意想不到的方式出现缺陷的可能性。但它也引发了谷歌和亚马逊可能迫使 Anthropic 改变公司治理的担忧。

但根据伊斯雷尔的说法，这是不可能的。他说，亚马逊和谷歌不拥有 Anthropic 的投票股份，这意味着他们无法选举董事会成员，而且他们的投票不会被计入重写 LTBT 管理规则所需的绝对多数。（伊斯雷尔表示，Anthropic B 轮股票的持有者（其中大部分最初由已倒闭的加密货币交易所 FTX 购买）也没有投票权。）

据知情人士透露，谷歌和亚马逊各自持有 Anthropic 不到 15% 的股份。Amodei 强调，亚马逊和谷歌对 Anthropic 的投资与微软与 OpenAI 的交易并不相同，后者与微软达成协议，将获得 OpenAI 49% 的利润，直到其 130 亿美元的投资得到偿还。“这完全是天壤之别，”Amodei 说。他承认 Anthropic 未来可能需要筹集更多资金，但他表示，该公司超水平发挥的能力将使其能够与资源更丰富的竞争对手保持竞争力。他告诉《时代》杂志：“只要我们能够用更少的资源做更多的事情，那么最终，资源就会流向创新型公司。”

然而，Anthropic 的未来可能面临一些令人不安的权衡——即使是最深思熟虑的治理结构也无法解决。非营利研究机构 AI Policy Institute 的执行董事 Daniel Colson 表示：“Anthropic 的首要任务是保持领先地位。”他指的是该实验室认为必须训练自己的世界领先的人工智能模型，以便对其进行良好的安全研究。但是，当 Anthropic 的资金耗尽，需要更多投资才能跟上大型科技公司的步伐时，会发生什么？“我认为董事会受托责任的表现将是，‘好吧，我们必须与一家大型科技公司合作来获得资金，还是吞下任何其他类型的潜在毒丸？’”Colson 说。在处理这样一个事关公司生存的问题时，Anthropic 的董事会可能被迫权衡彻底崩溃与某种形式的妥协，以实现其所认为的长期使命。

科尔森表示，归根结底，人工智能的治理“不是任何公司治理结构都能够胜任的”。虽然他认为 Anthropic 的结构比 OpenAI 的更好，但他表示，确保人工智能安全发展的真正任务在于政府，政府必须颁布具有约束力的法规。科尔森说：“看起来 Anthropic 在其结构上做得很好。”“但这些治理结构足以发展通用人工智能吗？我强烈认为这肯定不够——它们非常不合法。”

更正，5月30日

这篇报道的原始版本错误地描述了 Brian Israel 对 Sam Altman 被解雇后的看法。许多观察家认为 OpenAI 的公司结构适得其反，但 Israel 并没有这么说。