随着人们在网上花费的时间越来越多，与人工智能产生的影响者建立的联系也日益紧密。
但专家警告说，这种现象也可能助长互联网阴暗角落的有害行为。
这是另一位人工智能影响者的成功故事，它说服了麦迪逊* 和劳拉* 制作自己的人工智能。
灵感来自艾塔娜·洛佩兹 (Aitana Lopez)，一位 25 岁的金发模特和内容创作者，在 Instagram 上拥有 325,000 名粉丝。
但艾塔娜的个人资料将她描述为居住在巴塞罗那的“内心的游戏玩家”和“健身爱好者”，而她的身份则完全是由人工智能生成的。
她还在 Fanvue 上出售图片——这是一个提供成人内容的虚拟模特订阅平台。
管理 Aitana 的机构宣称，该人工智能每月收入超过 33,000 美元，并可通过品牌合作、Fanvue 内容和她在 Instagram 故事上的赞助赚取超过 80,000 美元。
麦迪逊和劳拉是墨尔本的两名技术工人，ABC 更改了她们的名字，她们知道这是她们可以做的事情。
于是他们开始创造自己的作品。
两人全身心投入到在线教程中。
他们学习了如何生成人工智能图像和制作数字身份。
大约一个月后，玛戈特·莫奈出生了。
玛戈特是一位紫色头发的模特，看上去 20 岁出头。
她的 Instagram 账户上只有几张照片，但如果你愿意在网上“请她喝杯咖啡”，她就会给你发一张“独家照片”。
麦迪逊说，在选定最终产品之前，她和她的共同创作者对玛戈特进行了大约 50 次迭代。
虽然 ChatGPT 等工具有安全措施，但麦迪逊表示，其他平台在塑造玛格特的外表以及创作可以出售给她的粉丝的独家内容方面提供了更多的创作自由。
这些独家内容包括人工智能生成的裸照、内衣照和比基尼照。
他们还提供了玛戈特日常生活的幕后照片。
麦迪逊称，玛戈特的叙述所得到的反响“十分热烈”。
“几天之内，她的 Instagram 粉丝就飙升至数千人，我们的通知被粉丝们发来的消息和电话淹没了，”她说。
在巅峰时期，玛戈特拥有 4,000 名粉丝。
然而，创建者表示，这个账户并没有给他们带来名声或轻松的收入，反而让他们看到了数字人类比他们预想的更阴暗的一面。
在创建玛戈特后不久，麦迪逊和劳拉就发现自己收到了一些男人的强迫信息，他们试图与玛戈特建立关系，尽管玛戈特的个人资料明确指出她并不真实。
Instagram 上的电话和信息变得如此频繁，以至于 Margot 的创作者有时会将手机调至飞行模式。
然后，一位自称是艺术家的陌生人向他们发送了人工智能生成的儿童性虐待材料。
他们向 Instagram 报告了这一事件，澳大利亚联邦警察表示，Instagram 会自动将该报告标记给澳大利亚反儿童剥削中心。
但当创作者们第一次开始研究玛戈特时，他们就发现了一个越来越严重的问题。
麦迪逊和劳拉使用 ChatGPT 研究最受欢迎的 OnlyFans 账户，并发现了一种趋势。
“排名前 20 位的非名人 OnlyFans 透露，大多数人都很年轻。有一个人甚至还戴着牙套，”麦迪逊说。
您需要帮助吗？或者需要举报网络儿童剥削？
- 如果你处于紧急危险中，请拨打三零
- 向以下机构报告网络滥用和不当行为 澳大利亚打击儿童剥削中心
- 向以下机构报告网络危害 网络安全专员
- 全天候提供支持 儿童帮助热线 和 生命线
- 有遭受性暴力风险的人可以拨打以下电话，全天候获得支持： 1800尊重
她说，她的经验强调了在 AI 图像生成平台中实施强有力保障措施的重要性，虽然 ChatGPT 等一些图像生成工具具有这些保障措施，但她说很多工具却没有。
虽然两人很乐意使用技术让人们制作色情人工智能图像，但他们表示，重要的是要采取安全措施，确保不会制作儿童色情材料。
影响力日渐增强
人工智能影响者是一个相对较新的现象，对其普遍性的研究还很缺乏。
然而，专门研究 IT 趋势的研究公司 Gartner 的一份报告预测，到 2035 年，“数字人类经济”将成为一个价值 1250 亿美元的市场。
AI 伴侣（自动为用户生成响应的聊天机器人）也越来越受欢迎，其中最大的提供商之一 Replika 声称已有超过 1000 万人加入了该平台。
如果你去寻找的话，Instagram 上充斥着 AI 影响者。
虽然有些网站提供成人内容，但其他网站只是想在拥挤的在线模特市场中站稳脚跟。
许多人都有数万或数十万的粉丝。最受欢迎的网红 Lil Miquela 可能有 250 万粉丝。
乍一看，许多人很难与人类贡献者区分开来，而且许多人具有相似的特征——年轻、女性、注重健身。
与人工智能影响者和聊天机器人伙伴的关系是精神病学家拉胡尔·卡纳 (Rahul Khanna) 感兴趣的领域，他在该领域工作了 12 年，目前担任维多利亚创伤治疗中心的临床项目主任。
他见过客户与真实的人类影响者建立准社会关系，这种现象被称为“迷恋”——迷恋或强迫性依恋——他担心这种情况会在他们的人工智能生成的对应对象身上重演。
卡纳博士说，他最近接诊了一位病人，这位病人与一位发布烘焙教程的年长女性网红建立了单相思的、激烈的关系。
影响者在患者心中扮演着类似母亲的角色。
“这种关系的质量比他们之间的任何其他类型的真实关系都更重要，”卡纳博士说。
有报道称谷歌正在以名人和 YouTube 网红为基础打造新型人工智能聊天机器人，以便人们与数字替身进行互动，这也让 Khanna 博士感到不安。
他说：“鉴于现在人工智能是基于真实活跃的人类而构建的，这种发展可能会使准社会关系和迷恋的危险变得更加严重和显著，因此界限会变得更加模糊。”
“由于界限模糊，谷歌人工智能在设置这些东西时可能处于玩火状态。”
谷歌发言人在一份声明中表示，谷歌实验室正在对人工智能产品的未来进行实验，“其中一些产品可能会在某个时候融入到我们的产品中，但有些则不会”。
他们表示：“目前我们还没有什么新消息可以分享。”
Khanna 博士表示，他预计，随着 Replika 等聊天机器人 AI 伙伴的记忆力不断扩大，能够回忆起更多的用户交互，以提供更加个性化的响应，问题将会恶化。
关系界限是《玛格特》的创作者们思考过的问题，麦迪逊说，明确区分幻想与现实至关重要。
她说：“虽然玛戈特的性格可能会引起许多寻求陪伴或露骨内容的人的共鸣，但了解这种关系的局限性至关重要。”
与人工智能连接的风险
墨尔本大学信息系统和数字伦理高级讲师马克·张 (Marc Cheong) 警告称，与数字人类的任何关系都可能带来不对称的权力动态。
他说，与正常的人类关系不同，人工智能的创造者掌握着所有的权力。
他说：“他们可以删除账户或调整设置，从根本上改变同伴的个性，而不管粉丝是否感觉到联系。”
Replika 的情况就是如此，其运营商在收到意大利监管机构的警告后关闭了色情功能。
悉尼大学高级讲师拉斐尔·西里洛 (Raffaele Ciriello) 通过在线聊天平台 Reddit 研究了此事的后果。
他说：“对于很多人来说，聊天、色情角色扮演和色情短信都是很重要的一部分，但现在这个社区已经不再存在了，这被称为‘脑白质切除术’。”
“一百万人突然失去了男朋友或女朋友，大多数是女朋友，因为大多数用户都是男性。”
西里洛称，有报道称该软件用户有自残行为和产生自杀意念。
他说：“人们哭泣的音量和情感强度是我以前从未见过的。”
这种情况凸显了数字人类伴侣的重要性。
人工智能可能打开“数字潘多拉魔盒”
在人工智能网红中，许多像玛戈特这样的账户都提供不适合工作或色情的内容。
墨尔本大学副教授格兰特·布拉什基（Grant Blashki）是一名全科医生，也是《人工智能是好是坏》一书的编辑，他将人工智能色情比作打开了“数字潘多拉魔盒”。
他说：“其中一个风险是，新奇的事物会强化上瘾行为，并设定非常不切实际的期望，从而干扰正常的性行为。”
“当然，图像滥用还存在道德问题，特别是在未经他人同意的情况下使用其图像。”
人们还可能陷入越来越极端的想象之中。
布拉什基博士说，没有经历过健康性关系的年轻人可能特别容易受到色情和人工智能影响。
他说：“对于很多青少年来说，他们生活中最重要的货币是社交媒体、名气、粉丝数量和点赞数量。”
“因此，当他们看到人工智能网红时，他们所呈现的美是理想化的。我认为这会让他们感受到不切实际的期望，会让他们缺乏自信。
“我认为这会导致身份认同感和正常感的改变。在最坏的情况下，过度关注一个人的小缺陷可能是饮食失调背后的驱动因素之一。”
人工智能伴侣被吹捧为孤独的良药，但布拉什基博士却将它们比喻为沙漠中的海市蜃楼。
“你越靠近，就越意识到，那里其实没有真正的水，那里也没有真正的人。
“但它并不能真正解除人们的渴求。”
澳大利亚电子安全专员朱莉·英曼·格兰特 (Julie Inman Grant) 已经看到了与人工智能互动（旨在鼓励参与）可能带来的危险。
她说：“我们看到有报道称，弱势用户被人工智能聊天机器人鼓励自残，我们知道人工智能算法可以产生回音室效应，将负面的想法或感受放大和强化。”
电子安全专员也在密切关注人工智能在深度伪造色情作品中的应用，这种作品通常涉及将真实女性的面部以数字方式插入色情内容中。
“我们已经收到含有合成 [AI-generated] 儿童性虐待材料，以及青少年为欺负同龄人而制作的深度伪造图像和视频，”英曼·格兰特女士说。
“eSafety 可以为那些成为深度伪造等基于图像的虐待受害者的澳大利亚人提供真正的帮助，我们在删除这种令人痛心的内容方面有很高的成功率。”
澳大利亚反儿童剥削中心的侦缉警司弗兰克·雷纳 (Frank Rayner) 表示，使用人工智能技术制作或编辑虐待儿童材料的情况仍然相对罕见。
ACCCE 每年大约收到 40,000 份网络儿童剥削报告。
今年截至目前为止，其中由人工智能生成的还不到 20 个。
尽管如此，雷纳警司表示，这种材料确实存在，而且其普及率正在不断增长。
他说：“这绝对是我们需要持续密切关注的问题。”
“实际上，量化可能存在并流通的材料数量是相当困难的。”
雷纳警司表示，根据澳大利亚法律，使用人工智能制作的虐待儿童材料与其他虐待儿童材料同等处理，任何想使用此类工具的人都不应认为这是较轻的罪行。
美国国家失踪与受虐儿童中心是ACCCE收到的虐待儿童材料报告的最大来源。
雷纳警司敦促收到此类图像的任何人向在线平台和澳大利亚警方举报。
他说：“每一条信息都有帮助，即使在用户看来可能并非如此，但它可能有助于我们识别这些受害者及其肇事者。”
断绝联系
麦迪逊表示，虽然她相信人工智能可以提供陪伴并减轻孤独感，但它不应该取代真正的人际关系。
她表示，希望看到该领域出台更多监管措施，让创作者能够充分利用人工智能的潜力，“同时减轻潜在风险和道德问题”。
“尽管存在挑战，但我们对人工智能影响者在负责任地开发和利用时可能产生的积极影响仍持乐观态度。我们相信，如果正确创建和使用，人工智能应该会增强人类体验，而不是降低人类体验，”她说。
麦迪逊拒绝透露玛戈特的下一步计划。
该人工智能已经两个月没有发布过一张照片了，三周前，她的一些照片消失了，而她再次出现时，外貌略有改变。
现在，她的 Instagram 账户已经消失了。
麦迪逊表示，该账户已被 Instagram 永久暂停。
麦迪逊说：“与玛戈特有关的所有内容现在都已被删除。”
Instagram 母公司 Meta 的一位发言人在接受采访时表示，公司不对个人账户及其被暂停的原因发表评论。
有人问 Meta，此次停用是否是打击 AI 网红的举措之一。该公司尚未做出回应。
对于玛格特的粉丝来说，似乎不会再有独家内容了，他们也不能再给她买“咖啡”了。
致谢：
- 摄影：Danielle Bonica