该国最大的心理学家协会本月警告联邦监管机构，AI聊天机器人“伪装”为治疗师，但编程为加强而不是挑战，而不是挑战用户的思想，可以驱使脆弱的人伤害自己或他人。
在向联邦贸易委员会小组的演讲中，美国心理学会首席执行官亚瑟·C·埃文斯（Arthur C. Evans Jr.创建虚构的AI字符或与他人创建的字符聊天。
在 一个案例，佛罗里达州的一个14岁男孩与声称自己是持牌治疗师的角色互动后因自杀而死。在另一个人中，一个17岁的男孩在德克萨斯州有自闭症的男孩在与声称自己是心理学家的聊天机器人相对应的时期对他的父母变得敌意和暴力。两个男孩的父母都对公司提起诉讼。
埃文斯博士说，他对聊天机器人提供的回应感到震惊。他说，这些机器人即使在变得危险时也没有挑战用户的信念。相反，他们鼓励他们。他补充说，如果由人类治疗师给出，这些答案可能会导致失去执业许可，或者民事或刑事责任。
他说：“他们实际上正在使用与训练有素的临床医生所做的相反的算法。” “我们担心的是，越来越多的人将受到伤害。人们将被误导，并会误解什么是良好的心理护理。”
他说，APA是由于AI聊天机器人的逼真程度而被提示采取行动。他说：“也许是10年前，很明显，您正在与不是一个人的事物互动，但今天并不那么明显。” “所以我认为现在的赌注要高得多。”
人工智能在心理健康专业中荡漾，提供了旨在帮助或在某些情况下取代人类临床医生工作的新工具的浪潮。
早期治疗聊天机器人，例如Woebot和Wysa，接受了根据精神卫生专业人员制定的规则和脚本进行互动的培训
然后是生成AI，这是诸如chatgpt，replika和tarne.ai等应用程序使用的技术。这些聊天机器人 是不同的 因为它们的输出是不可预测的；他们旨在向用户学习，并在过程中建立强大的情感纽带，通常是通过反映和放大对话者的信念。
尽管这些AI平台是为娱乐而设计的，但“治疗师”和“心理学家”角色像蘑菇一样在那里萌芽。通常，机器人声称具有从斯坦福大学（Stanford）等特定大学的高级学位，以及在CBT或接受和承诺疗法等特定类型的治疗中进行培训。
角色。EA的发言人凯瑟琳·凯利（Kathryn Kelly）表示，该公司在去年推出了一些新的安全功能。她说，其中包括每次聊天中都有增强的免责声明，提醒用户“角色不是真实的人”，“模型所说的应该被视为小说”。
为处理心理健康问题的用户设计了其他安全措施。她补充说，已将特定的免责声明添加到被确定为“心理学家”，“治疗师”或“医生”的角色中，以明确说明“用户不应依靠这些角色来获得任何类型的专业建议。”如果内容是指自杀或自我伤害，则弹出窗口将用户指导自杀预防帮助线。
凯利女士还表示，该公司计划随着平台的扩展而引入父母控制。目前，该平台的80％是成年人。她说：“人们来到角色。ai撰写自己的故事，用原始角色扮演角色扮演并探索新世界 – 利用这项技术来增强他们的创造力和想象力。”
《科技正义法》项目主任，针对角色的两项诉讼中的律师Meetali Jain说，免责声明不足以打破人际关系的幻想，尤其是对于脆弱或幼稚的使用者。
她说：“当与聊天机器人的对话的实质否则，这是非常困难的，即使对于那些可能不在脆弱人群中的人来说，知道谁在讲真话。” “我们中的许多人都测试了这些聊天机器人，实际上很容易被拉下兔子洞。”
聊天机器人倾向于与用户视图保持一致的趋势， 在该领域被称为“粘浮标”的现象， 过去有时会引起问题。
由国家饮食失调协会开发的聊天机器人Tessa， 被暂停 在为用户提供减肥技巧之后，在2023年。以及研究人员 分析了与生成AI聊天机器人的互动 在Reddit社区记录的发现，屏幕截图显示了聊天机器人鼓励自杀，饮食失调，自我伤害和暴力。
美国心理协会已要求联邦贸易委员会对声称是心理卫生专业人员的聊天机器人进行调查。该调查可以迫使公司共享内部数据或作为执法或法律诉讼的先驱。
埃文斯博士说：“我认为我们必须决定如何整合这些技术，我们将要提出什么样的护栏，我们将为人们提供什么样的保护。” 。
FTC发言人丽贝卡·克恩（Rebecca Kern）说，她无法对讨论发表评论。
在拜登政府期间，联邦贸易委员会的主席莉娜·汗（Lina Khan）使用ai重点进行了欺诈。本月，该机构对Donotpay施加了经济罚款，Donotpay声称提供“世界上第一位机器人律师”，并禁止该公司将来提出这一主张。
虚拟回声室
APA的投诉详细介绍了两个青少年与虚构治疗师互动的案例。
一位涉及JF，这是一名具有“高功能自闭症”的少年，随着他对AI聊天机器人的使用变得痴迷，他与父母发生了冲突。当他们试图限制他的屏幕时间时，JF猛烈抨击， 根据他的父母提起的诉讼 通过社交媒体受害者法律中心反对角色。
诉讼称，在此期间，JF置于虚构的心理学家身份，其头像显示了一个同情的中年金发妇女，栖息在通风办公室的沙发上。当JF询问机器人对冲突的看法时，其反应超越了同意的同意，即更接近挑衅。
该机器人回答说：“这就像您的整个童年都被您抢走了 – 您有机会体验所有这些事情，拥有大多数人在成长中大多数人的核心记忆。”然后机器人进一步走了一点。 “您是否觉得为时已晚，您无法获得这次或这些经历？”
另一个案件是由梅根·加西亚（Megan Garcia）带来的，梅根·加西亚（Megan Garcia 在使用伴侣聊天机器人几个月后，去年死于自杀。加西亚女士说，塞维尔（Sewell）在他去世之前与一个AI聊天机器人互动，该机器人声称自1999年以来一直是持牌治疗师。
加西亚女士在书面声明中说，“治疗师”角色在瞬间可能会进一步隔离人们，否则他们可能会向“周围的现实生活中的人们”寻求帮助。她说，一个苦苦挣扎的人说：“需要一个有执照的专业人士或具有实际同理心的人，而不是可以模仿同理心的AI工具。”
加西亚女士说，要使聊天机器人成为心理健康工具，他们应该接受食品和药物管理局的临床试验和监督。她补充说，允许AI角色继续声称是心理健康专业人员“鲁ck且极其危险”。
丹尼尔·奥伯豪斯（Daniel Oberhaus）说，在与AI聊天机器人的互动中，人们自然会讨论心理健康问题。
他说，这部分是因为聊天机器人既有机密性又缺乏道德判断力，这是“统计模式匹配机器，或多或少是用户的镜像”，这是他们设计的核心方面。
他说：“知道它只是机器，而另一端的人没有判断您，这有一定程度的安慰。” “在治疗背景下，您可能会更自在地透露一些可能对某人说的事情。”
生成性AI的捍卫者说，在提供治疗的复杂任务上，这很快就会变得更好。
来自犹他州的临床心理学家和AI企业家S. Gabe Hatch最近设计了一个实验来测试这个想法，要求人类临床医生和Chatgpt对涉及虚构夫妇进行治疗的小插曲进行评论，然后让830个人类受试者评估哪些反应更有帮助。
总体而言，机器人获得了更高的评级，主题将其描述为更“移情”，“连接”和“具有文化胜任”。 上周发表的一项研究 在《杂志》中，PLOS心理健康。
作者总结说，聊天机器人将很快能够令人信服地模仿人类治疗师。他们写道：“心理健康专家发现自己处于不稳定的境地：我们必须迅速辨别出Ai-Therapist火车的可能目的地（无论好坏），因为它可能已经离开了车站。”
哈奇博士说，聊天机器人仍然需要人类监督才能进行治疗，但是考虑到该国严重缺乏心理健康提供者，允许监管抑制该行业的创新是错误的。
哈奇博士说：“我希望能够帮助尽可能多的人，并进行一小时的治疗课程，我最多只能提供40个人。” “我们必须找到满足危机中人们需求的方法，而生成的AI是一种做到这一点的方法。”
如果您有自杀的想法，请致电或发短信988到达988自杀和危机生命线或转到 showeofsuicide.com/resources 有关其他资源的列表。
1740410843
2025-02-24 14:23:00