联合国？ 联邦调查局？ 世界银行？ Deepfake警察局长被用来制作赔偿诈骗视频

预付费欺诈活动在文本和视频中使用生成人工智能来加快响应速度、逃避过滤器并使诈骗更具说服力。

大型语言模型和其他形式的生成人工智能 (GenAI) 有望提高许多人的工作效率，网络犯罪分子也不例外。 欺诈者正在使用 GenAI 来增强各种诈骗，从以消费者为中心的批量活动到高度针对性的商业电子邮件泄露尝试。 备受瞩目的案件涉及 损失数千万美元。

在过去六个月中，Netcraft 注意到带有 ChatGPT 生成文本迹象的预付费欺诈电子邮件有所增加，以及旨在说服潜在受害者并逃避用于阻止诈骗的现有过滤器的深度伪造视频新模式，包括冒充联邦调查局、联合国和世界银行的例子。

预付费欺诈是诈骗者中长期流行的一种模式：他们通常以一条未经请求的消息开始，表明收款人应收款项，例如，商人已向他们提供资金或他们赢得了“互联网竞赛”等竞赛。彩票”——只需支付相对较少的费用，他们就能获得这笔财富。 然而，所谓的财富并不存在：一旦付款，诈骗者就会卷走费用，并制造更多的障碍来继续提取资金，或者转向下一个受害者。

我们经常看到的另一种预付费欺诈是赔偿诈骗。 诈骗者利用前面提到的诱惑频率，声称他们可以让受害者重新获得他们所谓的资金。 这是为了进一步利用那些已经陷入其他形式诈骗的人，因为诈骗者自己会要求支付费用，而该基金从未存在过。

“Sandra Steven” Deepfakes 用于逃避电子邮件过滤器

Netcraft 最近收到了一段 Deepfake 视频，作为补偿诈骗的初步诱饵。 该电子邮件只是说：“尝试打开这个重要视频并遵守。” 通过从文本中删除典型的诈骗指标，此策略可能会逃避一些垃圾邮件过滤器，这些过滤器主要依赖于文本分类进行过滤。

在观看 Deepfake 视频时，还存在其他欺诈迹象，最明显的是剧本内容，其中包含“Mrs. 联邦调查局桑德拉·史蒂文”要求听众“转账一百二十美元”，以获得“经联合国批准”、现在由“世界银行”控制的所谓基金。 视频显示，“全部资金都在我的办公室里”，这表明办公桌上未经编辑的一堆现金代表了相关基金。

图 1：“Sandra Steven”的 Deepfake 视频

欺诈活动的另一个指标是来自商业人工智能头像生成器的水印 Wondershare Virbo。 文件元数据显示，该视频最初生成于 2024 年 3 月 1 日，显示犯罪分子积极适应新产品和技术。 如果生成的视频包含水印数据，则可以识别滥用用户，从而识别犯罪基础设施。

深度伪造的底层图像不是“桑德拉·史蒂文”，甚至不是联邦调查局官员：它是基于联合国驻塞浦路斯维持和平部队助理警察专员兼高级警察顾问萨图·科伊武的照片，来自 最初于 2021 年 9 月在 Facebook 上发布的图片。 值得注意的是，在这种情况下，她的身份没有被依赖，而是被通用的预付费欺诈叙述所取代：任何处于权威地位的人都可以通过这种方式被冒充。

图2：助理警察局长萨图·科伊武（Satu Koivu）的原图

通过与自称“桑德拉·史蒂文”的诈骗者互动，Netcraft 获得了该骗局的更多细节，包括有关所谓“资金”的信息以及索取银行账户和比特币地址的详细信息。

虽然该视频包含大量欺诈迹象，但随着这些骗子越来越熟悉制作深度伪造品，我们预计他们将来只会变得更有说服力。

ChatGPT 协助犯罪

Netcraft 还发现了许多其他预付费欺诈者使用大型语言模型来使他们的信息更有说服力的迹象，消除了语法错误等常见问题，并包含了传统群发电子邮件活动无法包含的定制信息。

虽然有一些针对犯罪分子的特定生成人工智能工具，包括 欺诈GPT 或者 蠕虫GPT，还有 ChatGPT“越狱”，可以解锁所谓的“立即执行任何操作”模式，该模式可以绕过 OpenAI 施加的一些审核限制。 然而，由于 ChatGPT 可以合法地用于起草电子邮件，因此使用该工具生成这些电子邮件很简单，而不需要任何针对犯罪的基础设施。

有时人们认为欺诈者在最初的诱骗电子邮件中故意包含错误，以此过滤掉后来可能意识到自己被骗的人。 通过使用法学硕士纠正这些错误，欺诈者可以避免失去已经陷入困境的受害者。

图 3：来自同一电子邮件地址的两封电子邮件，右侧一封是可疑的 LLM 生成的电子邮件。 这里使用的写作风格是 ChatGPT 等生成式人工智能工具的典型风格，在构图和用词选择上与同一对话中的其他消息形成鲜明对比。

Netcraft 如何提供帮助

Netcraft 每月处理数亿封垃圾邮件，识别发送给世界各地受害者的各种恶意网站、附件和会话诈骗。

当您的品牌被冒充预付费欺诈电子邮件时，Netcraft 可以关闭冒充电子邮件地址和其他基础设施，例如用于发送电子邮件的受感染服务器。 这种干预措施可以防止使用相同的基础设施来发送新的诱饵，并中断任何正在进行的对话，以防止持续的欺诈。

另一个常见的场所是在社交媒体上冒充，假冒的高管可以被用来作为骗局的初始阶段，并在人们上钩后实施骗局。 Netcraft 为我们的客户搜索并记录这些冒充个人资料。

预订演示并亲自了解 Netcraft 如何保护您的企业和品牌免受网络犯罪的侵害。