H5 月初，Anthropic 旧金山办公室的墙上挂着一幅相框模因，距离首席执行官达里奥·阿莫迪（Dario Amodei）即将接受《时代》杂志采访的会议室只有几步之遥。这幅模因的单幅面板上画着一个巨大的机器人正在洗劫一座燃烧的城市。下面是这幅图片的讽刺性标题： 深度学习正在遭遇瓶颈。这是人工智能怀疑论者经常说的话，他们声称人工智能的快速发展很快就会放缓。但在图片中，一个箭头指向机器人，标明它是“深度学习”。另一个箭头指向被毁坏的城市：“墙”。
这个调皮的表情包概括了人工智能公司 Anthropic 内部的态度，这家公司的大多数员工似乎都认为人工智能的发展不会放缓——而且可能会给人类带来危险的后果。上个月，Amodei 登上了《时代》杂志的封面，他的公司被《时代》杂志评为 2024 年 100 家最具影响力的公司之一。他说，Anthropic 致力于研究尖端的人工智能系统和开发新的安全方法。然而，Anthropic 也是 OpenAI 的主要竞争对手，发布了供公众和企业使用的强大工具，甚至连 Amodei 本人也担心这可能是一场危险的竞赛，可能会以悲剧收场。
6 月 20 日，Anthropic 在该竞赛中发出最新一轮猛烈攻击，发布了最新版本的 Claude 聊天机器人： Claude 3.5 Sonnet。据该公司称，该模型在推理、编码和某些类型的数学方面树立了新的行业标准，击败了 OpenAI 最新推出的 GPT-4o。Amodei 在 6 月 20 日的一份声明中表示：“随着今天的发布，我们朝着我们认为可能成为我们与技术互动方式重大转变的方向迈出了一步。”“我们对 Claude 的目标不是创造一个逐渐更好的 [large language model] 而是开发一种能够以有意义的方式与人类和软件一起工作的人工智能系统。”
Anthropic 是最年轻的“前沿”人工智能实验室。它是最小的。它的竞争对手拥有更多的资金。而且在很多方面，它是最明确地致力于安全的。你们认为自己是弱势一方吗？
当然，您引用的所有事实都是真实的。但事实正在变得不那么真实。我们有这些大型计算交易。我们的资金高达数十亿美元。而我们的竞争对手的资金则低至两位数，甚至有点令人恐惧的三位数。所以我开始有点尴尬地称我们自己为弱势一方。但相对于该领域的重量级人物，我认为这绝对是事实。
人工智能“扩展定律”表明，当你用更多的计算能力和数据来训练系统时，它们会变得更加强大。你在系统中看到了哪些你还无法发布的功能？
我们最近才发布了上一个模型，所以并不是说有一年的秘密没有公布。至于有秘密，我不会去深究。但我们确实知道足够多的信息，可以说进展仍在继续。我们没有看到任何证据表明事情正在趋于平稳。我们生活的世界的现实是，它随时可能停止。每次我们训练一个新模型时，我都会看着它，我总是在想——我从来没有确定是松了一口气还是担心——[if] 到某个时候我们会看到，哦天哪，模型并没有变得更好。我认为如果 [the effects of scaling] 确实停止了，从某种意义上来说，这对世界是有益的。它会同时约束每个人。但这不是我们能选择的——当然，这些模型带来了许多令人兴奋的好处。大多数情况下，这是自然的事实。我们没有选择，我们只能找出我们生活在哪个世界，然后尽我们所能去处理它。
您希望通过 Anthropic 的文化实现什么目标？
我们有一个捐款配套计划。 [Anthropic allows employees to donate up to 25% of their equity to any charity, and will match the donation.] 这倾向于吸引那些对公共福利感兴趣的员工。如果你看重这一点，我们的股票赠予看起来会更好。它不会阻止人们获得经济激励，但有助于定下基调。
在安全方面，公众的看法和我们的想法之间存在一些差距。我认为我们不是人工智能安全公司，而是一家专注于公共利益的公司。我们不是一家相信人工智能系统将会带来的危险的公司。这是一个经验问题。我更希望 Anthropic 成为一家每个人都在考虑公共目的的公司，而不是一家专注于人工智能安全或人工智能系统错位的单一问题公司。在内部，我认为我们在这方面取得了成功，我们的员工有着许多不同的观点，但他们共同的是对公共目的的真正承诺。
唐纳德·特朗普今年年底当选的可能性很大。这对人工智能安全意味着什么？
瞧，无论谁是下一任总统，我们都会与他们合作，尽最大努力解释美国需要在这项技术上领先于对手，但也需要在技术本身上提供合理的保障。我传达的信息是一样的。显然，不同的政府会有不同的观点，我预计不同的政府会有不同的观点。 [government] 政策取决于选举结果。我真正能做的就是说出我认为的关于这个世界的真相。
让人工智能系统更安全的最佳方法之一是“强化学习”，它引导模型朝着某个方向发展——既有用又无害——但不会消除它们的危险能力，这些能力仍然可以通过越狱等技术获得。你是否担心这种方法看起来有多脆弱？
我认为它本身并不脆弱——我更愿意说，我们在如何操控这些系统的科学方面还处于早期阶段。早期它们会产生幻觉，早期它们可以被越狱。早期的意思是，每当我们想让我们的模型听起来更友好时，它就会发现在其他情况下，它给出的响应太长了。你试图让它做所有好事，而不是所有坏事，但这很难做到。我认为它并不完美，而且我认为它永远不会完美。我们有一个瑞士奶酪模型：你可以有一层有洞，但如果你有 10 层瑞士奶酪，任何东西都很难穿过所有 10 层。没有灵丹妙药可以帮助我们操控模型。我们必须把很多不同的东西放在一起。
如果风险如此之高，采用这样的策略是否负责任？
我更愿意生活在一个理想的世界里。不幸的是，在我们实际生活的世界中，存在着许多经济压力，不仅存在着公司之间的竞争，还存在着国家之间的竞争。但如果我们真的能够证明风险是真实存在的，我希望能够做到这一点，那么也许我们真的可以让世界停下来思考一下。并以合作的方式正确地做到这一点。但我并不天真——这样的时刻很少见，而且只有在特殊情况下才能在短时间内停止一辆非常强大的经济列车。
Meta 正在开源一些模型，这些模型在功能上与你们的并不相差太远。你们如何看待这一策略？这是负责任的做法吗？
我们主要担心的不是开源模式，而是强大的模式。实际上，我认为大多数这些公司都会停止开源，直到我担心的程度以下——我怀疑 Meta 也会这样，但我不确定。我最终怀疑开源作为一个问题几乎是一个转移注意力的借口。人们对待开源模式就像是它们破坏了我们的商业模式。事实是，我们的竞争对手是任何能够生产出 强大的 模型。当有人主持这些模型之一时——我认为我们应该称他们为 开放式重量 模型——它们被放到云端，其经济原理和其他一切是一样的。
微软最近表示，它正在内部训练一个大型语言模型，该模型可能能够与他们投资的 OpenAI 竞争。亚马逊是您的支持者之一，也在做同样的事情。谷歌也是如此。您是否担心，目前处于领先地位的小型人工智能实验室可能只是暂时领先于这些资源更丰富的科技公司？
我认为，我们文化中一个突出的理念就是“用更少的资源做更多的事情”。我们总是试图保持这样一种状态：用更少的计算资源，我们可以做与拥有更多计算资源的人相同甚至更好的事情。所以归根结底，我们的竞争优势是我们作为研究人员和工程师的创造力。我认为我们越来越多地关注创造性的产品，而不是纯粹的计算。我认为你需要大量的纯计算。我们有很多，而且我们会得到更多。但只要我们能更有效地使用它，只要我们能用更少的资源做更多的事情，那么最终，资源就会流向创新型公司。
Anthropic 已经筹集了大约 70 亿美元，这笔钱足以支付下一代模型的培训费用，您曾说过，这笔费用可能高达数十亿美元。为了培训下一代模型，您开始考虑筹集更多资金。您认为这些资金将从何而来？
我认为我们在下一场之后的比赛中表现都相当不错，尽管在 Anthropic 的历史上，我们需要筹集更多的资金。很难说那会在哪里 [will come from]有传统投资者，有大型计算提供商，还有我们可能没有想到的其他各种来源。
很少有人谈论的一个资金来源是政府。他们有这么多钱——这在政治上可能很困难，但您是否考虑过，甚至讨论过这个问题？
这项技术已经变得足够强大，政府应该在其创造和部署中发挥重要作用。这不仅仅是监管问题。这关系到国家安全。在某种程度上，至少其中的某些方面应该成为国家项目吗？我当然认为政府内部会有很多模型的用途。但我确实认为，随着时间的推移，最强大的模型可能会被视为对国家安全至关重要。我认为政府可以更多地参与其中，我希望民主政府以负责任和负责任的方式领导这项技术。这可能意味着政府深度参与这项技术的建设。我不知道那会是什么样子。今天还没有这样的事情。但考虑到我们正在建设的东西有多么强大，当它达到一定强度时，个人甚至公司是否真的应该成为它的核心？我可以想象，在短短几年内——两年、三年、五年——这可能是一场非常严肃的对话，具体取决于情况。
您认为当前世界的不平等程度是否太严重了？
我会这么说。我们有数十亿人每天的生活费仍不足 1 美元。这看起来不太好。
你会从萨姆·奥特曼这样的人那里听到这样一句话：如果我们能为这些人争取更多权利，那么他就会接受万亿富翁的存在。你如何看待这种不平等带来的权力不平衡？
这里有两个不同的东西。一个是提升底线，另一个是世界内部的权力。我认为我对这种权力集中不太乐观。即使我们在物质上满足了每个人的需求，如果权力过于集中，民主和民主决策也很难存在和公平。金融权力集中是权力的一种形式，还有其他形式。但在美国历史上，有一段时期——看看镀金时代——工业家基本上接管了政府。我认为这可能太极端了。我不确定经济能否在没有一定程度的不平等的情况下运转。但我担心我们可能正处于这样一个时代，即它趋向于过于极端，不利于民主政体的健康。
关于保障基本收入的想法——如果我们想不出更好的办法，我当然认为这比什么都没有要好。但我更希望看到一个每个人都能做出贡献的世界。如果只有少数人能赚到数万亿美元，然后政府把这些钱全部分发给那些一无所知的大众，那将是一种反乌托邦。这比不分发要好，但我认为这并不是我们真正想要的世界。我确实相信，如果指数级增长 [rate of AI progress] 没错，人工智能系统在做人类所做的大多数事情上将比大多数人类甚至所有人类都做得更好。所以我们真的需要重新思考很多事情。在短期内，我总是谈论互补性——我们应该确保人类和人工智能合作。这在短期内是一个很好的答案。我认为从长远来看，我们真的需要思考，我们如何组织经济，人类如何看待他们的生活？一个人做不到这一点。一家公司做不到这一点。这是人类之间的对话。我唯一担心的是，如果技术发展迅速，我们就必须尽快找到解决办法。
1719233544
#Anthropic #首席执行官谈如何成为弱势一方
2024-06-23 11:00:00
/i/2004628264.png?f=meta)
