利用你所爱之人的声音进行的可怕人工智能骗局

最近的一个晚上，在布鲁克林的家中，一位名叫罗宾的女士正在她丈夫史蒂夫身边熟睡，这时她床头柜上的手机突然响起。 罗宾三十多岁，有一头又长又脏的金发。 她是一名室内设计师，专门设计豪华住宅。 那天晚上，这对夫妇去了科布尔山的一家天然葡萄酒酒吧，并提前几个小时回家并上床睡觉。 他们的两个年幼的孩子正在走廊另一头的卧室里睡觉。 “我总是一只耳朵醒着，”罗宾最近告诉我。 手机响了，她睁开眼睛，看了看来电显示，是婆婆莫娜，半夜以后从来没有打过电话。 “我想，也许这是一个屁股拨号，”罗宾说。 “所以我忽略了它，尝试翻身回到床上。 但后来我看到它又出现了。”

她拿起电话，电话那头传来莫娜的哭声，重复着“我做不到，我做不到”。 “我以为她是想告诉我发生了一些可怕的悲剧，”罗宾告诉我。 莫娜和她的丈夫鲍勃已经七十多岁了。 她是一位退休的派对策划人，他是一位牙医。 他们在马里兰州贝塞斯达度过温暖的几个月，在博卡拉顿度过冬天，在那里他们玩泡菜球和卡纳斯塔。 罗宾的第一个念头是发生了意外。 罗宾的父母也在佛罗里达过冬，她想象着他们四个人在一场车祸中的情景。 “你的大脑在半夜会做出奇怪的事情，”她说。 然后罗宾在电话里听到了鲍勃的声音。 （家人要求化名以保护隐私。）“莫娜，把电话递给我，”鲍勃的声音说道，然后，“去找史蒂夫。” 去找史蒂夫。” 罗宾认为这——他们不想在她独自一人的时候告诉她——作为他们认真的另一个标志。 她摇醒了史蒂夫。 “我想是你妈妈，”她告诉他。 “我认为她告诉我发生了一些可怕的事情。”

史蒂夫留着短发，身材健壮，在执法部门工作。 当他睁开眼睛时，他发现罗宾正处于惊慌失措的状态。 “她在尖叫，”他回忆道。 “我以为她全家都死了。” 当他接过电话时，他听到电话那头传来一个轻松的男性声音——可能是南方人的声音。 “你不会报警的，”那人说。 “你不会告诉任何人。 我已经拿枪指着你妈妈的头了，如果你不完全按照我说的做，我就会打爆她的脑袋。”

史蒂夫用自己的电话给一位在人质谈判方面有经验的同事打电话。 同事被静音了，所以他能听到电话却听不到。 “你听到这个了吗？？？” 史蒂夫给他发短信。 “我应该怎么办？” 同事回信说：“记笔记。 一直在说话。” 史蒂夫说，我们的想法是继续对话，推迟暴力并尝试了解任何有用的信息。

“我想听听她的声音，”史蒂夫对电话里的那个人说。

男子拒绝了。 “如果你再问我这个问题，我就会杀了她，”他说。 “你他妈疯了吗？”

“好吧，”史蒂夫说。 “你想要什么？”

该男子索要旅费； 他想要五百美元，通过 Venmo 汇出。 “对于一个人来说，这是一笔非常小的钱，”史蒂夫回忆道。 “而且：我显然会付这个钱。” 罗宾听着，推断有人闯入了史蒂夫父母的家，为的是要一点现金而劫持他们。 在电话中，该男子给了史蒂夫一个 Venmo 账户，让他把钱汇到其中。 这不起作用，所以他又尝试了几次，最终找到了一个能起作用的。 该应用程序询问交易的目的。

“放入披萨表情符号，”该男子说。

史蒂夫寄出五百美元后，那人接了一个女声——看来是女朋友——说钱已经到了，但还不够。 史蒂夫问他的母亲是否会被释放，这名男子很生气，因为他在这名女子听着的情况下提起这件事。 “哇，哇，哇，”他说。 “宝贝，我稍后再给你打电话。” 对史蒂夫来说，这意味着该女子并不知道人质事件。 “这让它变得更加真实，”史蒂夫告诉我。 该男子随后要求额外支付两百五十美元为女友买票。 “我得让我的宝贝妈妈到我这里来，”他说。 史蒂夫发送了额外的款项，处理完毕后，该男子挂断了电话。

此时，已经过去了大约二十五分钟。 罗宾哭了，史蒂夫对他的同事说话。 “你们做得很好，”同事说。 他让他们给鲍勃打电话，因为莫娜的电话明显被盗了，以确保他和莫娜现在安全。 尝试了几次后，鲍勃拿起电话递给莫娜。 “你在家里？” 史蒂夫和罗宾问她。 “你还好吗？”

莫娜听起来不错，但她不确定他们在说什么。 “是的，我在床上，”她回答道。 “为什么？”

人工智能 似乎正在彻底改变我们生活的方方面面：医疗诊断、天气预报、太空探索，甚至是写电子邮件和搜索互联网等平凡的任务。 但随着效率和计算准确性的提高，潘多拉魔盒也带来了麻烦。 Deepfake 视频内容在互联网上激增。 俄罗斯入侵乌克兰一个月后，社交媒体上出现了一段视频，其中乌克兰总统弗拉基米尔·泽连斯基似乎要求他的军队投降。 （他并没有这样做。）今年 2 月初，香港警方宣布，一名财务人员在与他认为是其公司成员的视频会议后被骗支付了 2500 万美元。高级员工。 （事实并非如此。）由于像 ChatGPT 这样的大型语言模型，网络钓鱼电子邮件也变得越来越复杂。 与此同时，史蒂夫和罗宾成为了另一个新骗局的受害者，该骗局利用人工智能复制亲人的声音。 “我们现在已经穿越了恐怖谷，”加州大学伯克利分校研究生成人工智能和操纵媒体的哈尼·法里德告诉我。 “我现在可以克隆几乎任何人的声音，并让他们说出任何事情。 你认为会发生的事情正是正在发生的事情。”

当然，机器人模仿人类声音并不新鲜。 1984 年，苹果电脑成为第一台能够用自己微弱的机器人声音读取文本文件的电脑。 “大家好，我是 Macintosh，”在史蒂夫·乔布斯 (Steve Jobs) 的揭幕仪式上，一台深蹲机向现场观众宣布。 “从那个袋子里出来真是太棒了。” 这台电脑对苹果当时的主要竞争对手进行了猛烈抨击，说道：“我想与大家分享我第一次见到 IBM 大型机时想到的一句格言：永远不要相信一台你举不起来的电脑。” 2011年，苹果发布了Siri； 受到《星际迷航》中会说话的计算机的启发，该程序可以解释精确的命令——“扮演斯蒂利·丹”，或者“打电话给妈妈”——并用有限的词汇做出回应。 三年后，亚马逊发布了 Alexa。 合成声音与我们同居。

尽管如此，直到几年前，合成声音的进步仍处于停滞状态。 他们并不完全令人信服。 “如果我试图创建一个更好版本的 Siri 或 GPS，我关心的是自然性，”Farid 解释道。 “这听起来像人类，而不是这种令人毛骨悚然的半人半机器人的东西吗？” 复制特定的声音更加困难。 “我不仅要听起来 人类”法里德继续说道。 “我必须听起来像 你”。 然而，近年来，这个问题开始受益于更多的资金、更多的数据——重要的是，大量的在线录音——以及用于生成语音的底层软件的突破。 2019 年，这一举措取得了成果：一家名为 Dessa 的多伦多人工智能公司克隆了播客乔·罗根 (Joe Rogan) 的声音。 （罗根当时在 Instagram 上回应“敬畏”和接受，并补充道，“孩子们，未来真的会很奇怪。”）但黛莎需要大量资金和罗根数百小时的可用声音来制作他们的产品。 他们的成功是一次性的。

然而，到了 2022 年，一家名为 ElevenLabs 的纽约公司推出了一项服务，可以快速生成几乎任何声音的令人印象深刻的克隆； 呼吸音已经被纳入其中，并且可以克隆超过两打语言。 ElevenLabs 的技术现已广泛应用。 “你只需导航到一个应用程序，每月支付 5 美元，将某人的声音输入 45 秒，然后克隆该声音，”法里德告诉我。 该公司目前估值超过 10 亿美元，其他大型科技公司紧随其后。 微软去年推出的 Vall-E 克隆计划的设计者使用了 7000 多个发言者提供的 6 万小时的英语有声读物旁白。 据报道，Vall-E 尚未向公众开放，但只需三秒的采样即可复制扬声器的声音和“声学环境”。

语音克隆技术无疑改善了一些人的生活。 Voice Keeper 是目前为数不多的几家公司之一，这些公司正在“储存”患有 ALS、帕金森氏症和喉癌等失声疾病患者的声音，以便他们以后可以继续通过文本用自己的声音说话。语音软件。 一家韩国公司最近推出了其所称的首个“人工智能追悼服务”，让人们在死后“生活在云端”，并与后代“对话”。 该公司表示，这可以“减轻亲人去世的痛苦”。 该技术还有其他合法的应用，尽管不那么无私。 名人可以使用声音克隆程序“借用”他们的声音来录制广告和其他内容：例如，大学橄榄球名人堂成员基思·拜尔斯（Keith Byars）最近让俄亥俄州的一家鸡肉连锁店使用他的声音克隆来接受订单。 电影业也从中受益。 电影中的演员现在可以“说”其他语言，例如，当一部外国电影在美国上映时，可以说英语。“这意味着不再有字幕，也不再有配音，”法里德说。 “每个人都可以说任何你想要的语言。” 发表多篇出版物，包括 纽约客，使用 ElevenLabs 提供故事的音频叙述。 去年，纽约市长埃里克·亚当斯 (Eric Adams) 用普通话和意第绪语（他不会说这两种语言）发出了人工智能机器人电话。 （隐私倡导者称这是一个“令人毛骨悚然的虚荣项目。”）

但更常见的是，该技术似乎被用于邪恶目的，例如欺诈。 由于 TikTok、YouTube 和 Instagram 存储了无数普通人谈话的视频，这变得更加容易。 “这很简单，”法里德解释道。 “你用三十或六十秒的孩子声音登录 ElevenLabs，很快奶奶就会接到孙子声音的电话，说：‘奶奶，我遇到麻烦了，我出了事故。’ ” 财务请求几乎总是最后的结局。 法里德继续说道，“事情是这样的：坏人在百分之九十九的情况下都会失败，但他们仍然会变得非常非常富有。 这是一场数字游戏。” 这些非法活动的普遍程度很难衡量，但据传闻，几年来它们一直在增加。 2020 年，费城的一位公司律师接到了他认为是他儿子的电话，儿子说他在一场涉及孕妇的车祸中受伤，需要 9000 美元保释。 （当他的儿媳打电话给他儿子的办公室时，他发现这是一个骗局，当时他正在那里安全地工作。）一月份，新罕布什尔州的选民接到了乔·拜登的自动电话，告诉他们不要在选举中投票。基本的。 （承认拨打电话的男子说他使用了 ElevenLabs 软件。）“当时我没有想到这不是他的真实声音，”新罕布什尔州的一位老年民主党人告诉美联社。 “这就是多么有说服力。”