为什么人工智能学会撒谎如此危险：“他们会像富人一样欺骗我们”| 技术

扑克玩家手上的牌很差，但却下了最大的赌注。 其余玩家被虚张声势吓坏了，认输了。 买家想要就产品进行谈判，但没有表现出兴趣。 他先看看其他东西然后问道。 然后，他无意中询问了他真正想要的东西，以获得更便宜的价格。 这两个真实的例子不是来自人类，而是来自人工智能（AI）制作的模型。 一篇新的科学文章标题为 人工智能恶作剧：示例、风险和潜在解决方案的研究 在杂志上 图案 分析已知的模型通过撒谎、掩饰或奉承人类来实现其目标的案例。 机器人对任何事情都一无所知，只会寻找最好的方式来获得它们想要的东西，但作者认为，如果立法不限制人工智能的选择，这些初期的欺骗行为将预示着可怕的结果。

“目前，我对人工智能欺骗最担心的是，一个自主的超级智能人工智能将利用其欺骗能力，形成一个不断壮大的人类盟友联盟，并最终利用这个联盟上台，以追求人类的长期目标。麻省理工学院 (MIT) 人工智能存在安全问题的博士后研究员、该论文的主要作者之一 Peter S. Park 说道。

对帕克的巨大恐惧只是一种假设，但我们已经在为游戏编程的人工智能中看到了这一点。 Meta 于 2022 年宣布其 Cicero 模型以 外交一款混合了细节的策略游戏 风险扑克和电视节目 幸存者，用该公司的话说。 正如在真正的外交中一样，其中的资源之一就是撒谎和掩饰。 Meta 员工注意到，当西塞罗撒谎时，他的表现会变得更糟，他们让他变得更加诚实。 但他确实不是。

彼得·S·帕克（Peter S. Park）和他的合著者也测试了西塞罗的诚实。 “文章的作者应该纠正 Meta 关于所谓诚实的虚假陈述。 西塞罗曾发表于 科学”。 游戏的政治背景 外交 它的风险比选举和军事冲突的真实情况要低得多。 但帕克说，有三个事实需要牢记：“首先，梅塔成功地训练了她的人工智能，使其在追求政治权力方面表现出色，尽管是在游戏中。 其次，Meta 尝试训练人工智能诚实，但失败了。 第三，在事后很久之后，外部独立科学家才能揭穿梅塔的谎言，即他的寻求权力的人工智能应该是诚实的。 在我看来，这三个事实的结合就足以令人担忧。”帕克表示。

他们是如何撒谎的

研究人员认为，特定的人工智能模型可以通过多种方式有效地进行欺骗：它们可以在外交中进行操纵，在知道自己不会做某事时佯装说自己会做某事，在扑克中虚张声势，在谈判中讨价还价，装死以避免被发现，或者欺骗人类评审员相信人工智能已经做了它应该做的事情，而实际上它没有做。

并非所有类型的欺骗都涉及此类知识。 有时，人工智能模型无意中是“阿谀奉承者”，只是简单地遵循每个用户在问题中指出的观点：“奉承可能会导致人类持久的错误信念。 讨人喜欢的说法是专门为了吸引用户而设计的。 当用户遇到这些答案时，他们可能不太可能验证事实。 作者在文章中写道：“从长远来看，这可能会导致与事实相去甚远的信念。”

没有人确切知道如何让这些模型不欺骗，帕克说：“以我们目前的科学理解水平，没有人能够可靠地训练大型语言模型不欺骗。” 此外，许多公司都有许多工程师致力于创建不同的、更强大的模型。 并不是每个人都对他们的机器人诚实有同样的最初兴趣：“一些工程师非常认真地对待人工智能欺骗的风险，甚至提倡或实施人工智能安全措施。 其他工程师并没有这么认真地对待它，他们认为应用试错过程就足以走向安全和不说谎的人工智能。 还有一些人甚至拒绝接受人工智能欺骗风险的存在，”帕克说。

他们将用它来增强自己的力量

在文章中，他们将超级智能人工智能与富人如何渴望获得新的权力进行了比较：“纵观历史，富有的演员都通过欺骗来增加他们的权力，”他们写道。 Park 澄清这一点的方式有助于更好地理解想要获得权力的人工智能的作用有多么隐蔽：“人工智能公司正在进行一场不受控制的竞赛，以创造一种在大多数经济和战略上超越人类的超级智能人工智能。相关能力。 这种类型的人工智能，就像富人一样，擅长执行长期计划，以欺骗性的方式寻求对社会各个部分的权力，例如用不完整或虚假的信息影响政客，资助媒体或调查人员的虚假信息，并利用法律逃避责任。 正如金钱可以转化为权力一样，许多人工智能功能，例如欺骗，也可以转化为权力。”Park 解释道。

并非所有学者都有这种程度的恐惧。 爱丁堡大学教授迈克尔·罗瓦索斯 (Michael Rovatsos) 在接受 SMC 西班牙采访时认为，长期危险过于推测：“我不太相信欺骗能力会造成对人工智能系统失去控制的风险。” ，其设计是否足够严格； 真正的问题是，目前情况并非如此，并且在市场上推出的系统没有经过这些安全检查。 “这篇文章提出的关于欺骗能力的长期影响的讨论非常具有推测性，并对可能发生或可能不会发生的事情做出了很多额外的假设。”

本文提出的解决方案是立法，以使这些系统不会超越其创建者。 欧盟为每个人工智能系统分配四个风险级别之一：最小、有限、高和不可接受。 禁止使用具有不可接受风险的系统，而具有高风险的系统则需要满足特殊要求。 “我们认为人工智能欺骗给社会带来了广泛的风险，因此它们应该默认被视为高风险或不可接受的风险，”帕克说。

您可以关注 EL PAÍS 技术 在 Facebook y X 或在这里注册以接收我们的 时事通讯。