平流层安全标准：航空业如何引导人工智能在健康领域的监管麻省理工学院新闻

死于飞机失事的可能性有多大？ 根据国际航空运输协会发布的2022年报告，行业死亡风险为0.11。 换句话说，平均而言，一个人需要连续 25,214 年每天乘坐一次航班，才有 100% 的机会遭遇致命事故。 长期以来，航空业一直被誉为最安全的交通方式之一，受到严格监管的航空业让麻省理工学院的科学家认为，它可能是监管医疗保健领域人工智能的关键。

麻省理工学院电气工程与计算机科学系 (EECS) 和医学工程科学研究所的助理教授 Marzyeh Ghassemi 和麻省理工学院航空航天学 HN Slater 教授 Julie Shah 都对透明度挑战感兴趣人工智能模型。 2023 年初聊天后，他们意识到航空可以作为一种模式，确保边缘化患者不会受到有偏见的人工智能模型的伤害。

Ghassemi 也是麻省理工学院安利捷健康机器学习诊所 (Jameel Clinic) 和计算机科学与人工智能实验室 (CSAIL) 的首席研究员，Shah 随后招募了一个由研究人员、律师、麻省理工学院、斯坦福大学、美国科学家联合会、埃默里大学、阿德莱德大学、微软和加州大学旧金山分校的政策分析师启动了一个研究项目， 其结果 最近被接受参加算法、机制和优化会议的公平和访问。

第一作者 Elizabeth Bondi-Kelly 表示：“我认为我们的许多合著者都对人工智能产生积极社会影响的潜力感到兴奋，尤其是最近取得的进展。”她现在是密歇根大学 EECS 助理教授，当时是 Ghassemi 实验室的博士后。项目开始了。 “但我们也持谨慎态度，希望开发框架来管理部署开始时的潜在风险，因此我们正在为此类框架寻找灵感。”

麻省理工学院航空航天系博士生、论文合著者 Lindsay Sanneman 表示，今天的人工智能在健康领域的应用与一个世纪前的航空业相似。 尽管 20 年代被称为“航空黄金时代”， 致命事故“多得令人不安” 根据麦基诺公共政策中心的数据。

美国国家运输安全委员会 (NTSB) 安全建议部门现任负责人杰夫·马库斯 (Jeff Marcus) 最近发布了 全国航空月博客文章 指出虽然 1920 年代发生了一些致命事故，但 1929 年仍然是历史上致命航空事故最多的“有记录以来最糟糕的一年”，报告了 51 起事故。 按照今天的标准，每年将发生 7,000 起事故，即每天 20 起。 为了应对 20 年代发生的大量致命事故，卡尔文·柯立芝总统于 1926 年通过了具有里程碑意义的立法，即《航空商务法》，该法案将通过商务部规范航空旅行。

但相似之处还不止于此——航空业随后的自动化之路与人工智能相似。 鉴于人工智能臭名昭著的“黑匣子”问题，人工智能的可解释性一直是一个有争议的话题，人工智能研究人员争论人工智能模型必须在多大程度上向用户“解释”其结果，否则可能会导致用户盲目遵循模型的指导。

“20 世纪 70 年代，自动化程度不断增加……自动驾驶系统负责向飞行员发出风险警告，”Sanneman 补充道。 “随着自动化进入航空领域，在人类与自主系统的交互方面出现了一些成长的烦恼——当飞行员对自动化正在做什么没有敏锐的认识时，就会出现潜在的混乱。”

如今，成为一名商业航空公司机长需要 1,500 小时的飞行记录以及仪表培训。 根据研究人员的 纸，这个严格而全面的过程大约需要15年的时间，其中包括学士学位和副驾驶。 研究人员认为，广泛的试点培训的成功可能成为培训医生在临床环境中使用人工智能工具的潜在模式。

该论文还提出了令人鼓舞的关于不安全健康人工智能工具的报告，就像联邦航空局（FAA）为飞行员所做的那样——通过“有限豁免”，允许飞行员在做了不安全的事情后保留他们的执照，只要是无意的。

根据一个 2023年报告 世界卫生组织公布的数据显示，在高收入国家，平均每 10 名患者中就有 1 名患者在接受住院治疗时受到不良事件（即“医疗错误”）的伤害。

然而，在当前的医疗保健实践中，临床医生和医护人员往往害怕报告医疗错误，不仅是因为担心内疚和自我批评，还因为强调对个人的惩罚的负面后果，例如吊销行医执照，而不是改革导致医疗错误更容易发生的制度。

加塞米在最近的一篇文章中写道：“在健康方面，当锤子失手时，患者就会受苦。” 评论发表于 自然人类行为。 “这一现实给医疗人工智能社区带来了不可接受的道德风险，他们已经在努力应对复杂的护理问题、人员短缺和系统负担过重。”

美国科学家联合会的合著者兼健康公平政策经理 Grace Wickerson 认为这篇新论文是对尚未到位的更广泛治理框架的重要补充。 “我认为我们可以利用现有的政府权力做很多事情，”他们说。 “医疗保险和医疗补助可以通过不同的方式支付健康人工智能的费用，以确保在购买或报销技术时考虑到公平性，美国国立卫生研究院 [National Institute of Health] 可以资助更多研究，使算法更加公平，并为这些算法建立标准，然后供 FDA 使用 [Food and Drug Administration] 因为他们试图弄清楚健康公平意味着什么以及如何在当前当局内对其进行监管。”

除其他外，该论文列出了六个可以帮助监管健康人工智能的主要现有政府机构，包括：FDA、联邦贸易委员会（FTC）、最近成立的健康高级研究项目局、医疗保健研究和质量局、医疗保险和医疗补助中心、卫生与公众服务部以及民权办公室 (OCR)。

但威克森表示，还需要做更多的工作。 在威克森看来，撰写这篇论文最具挑战性的部分是“想象我们还没有的东西”。

该文件还建议建立一个类似于 NTSB 的独立审计机构，以便对出现故障的健康人工智能系统进行安全审计，而不是仅仅依赖现有的监管机构。

“我认为这是技术治理当前面临的问题——自 90 年代以来，我们还没有真正有一个实体来评估技术的影响，”威克森补充道。 “曾经有一个技术评估办公室……在数字时代甚至开始之前，这个办公室就已经存在，然后联邦政府允许它废止。”

斯坦福大学法学院的合著者扎克·哈内德 (Zach Harned) 认为，新兴技术的主要挑战是技术发展超过监管。 “然而，人工智能技术的重要性及其带来的潜在好处和风险，特别是在医疗保健领域，已经引发了一系列监管努力，”哈内德说。 “FDA 显然是这方面的主要参与者，他们不断发布指南和白皮书，试图说明他们在人工智能方面不断变化的立场； 然而，随着 OCR 对 HIPAA 的强制执行，隐私将成为另一个值得关注的重要领域 [Health Insurance Portability and Accountability Act] 方和 FTC 对非 HIPAA 涵盖的实体实施隐私侵犯行为。”

哈尼德指出，该地区正在快速发展，包括最近的白宫等发展 行政命令 14110 关于人工智能的安全和值得信赖的发展，以及欧盟（EU）的监管活动，包括即将敲定的《欧盟人工智能法案》。 “看到这项重要技术得到开发和监管以确保安全，同时又不会扼杀创新，这无疑是一个激动人心的时刻，”他说。

除了监管活动之外，该论文还提出了其他机会来为更安全的健康人工智能工具创造激励措施，例如按绩效付费计划，其中保险公司奖励表现良好的医院（尽管研究人员认识到这种方法需要额外的监督）做到公平）。

那么研究人员认为创建一个健康人工智能的有效监管系统需要多长时间？ 该文件称，“国家运输安全委员会和美国联邦航空局系统由两个不同的机构负责调查和执法，是国会在数十年的时间里创建的。”

Bondi-Kelly 希望这篇论文能够解决人工智能监管难题。 在她看来，“梦想的场景是我们所有人都阅读了这篇论文，并受到启发，应用航空领域的一些有用的经验教训，帮助人工智能预防部署过程中的一些潜在的人工智能危害。”

除了 Ghassemi、Shah、Bondi-Kelly 和 Sanneman 之外，麻省理工学院这项工作的共同作者还包括高级研究科学家 Leo Anthony Celi 以及前博士后 Thomas Hartvigsen 和 Swami Sankaranarayanan。 这项工作的部分资金来自麻省理工学院 CSAIL METEOR 奖学金、广达计算公司、大众基金会、美国国立卫生研究院、赫尔曼·LF·冯·亥姆霍兹职业发展教授职位和 CIFAR Azrieli 全球学者奖。