Lavender，以色列的人工智能，决定谁在加沙被轰炸 | 技术

以色列在战争自动化方面跨越了另一条界限。 其武装部队开发了一项由人工智能 (AI) 支持的程序来选择爆炸事件的受害者，这一过程传统上需要手动验证证据，直到确认目标确实是受害者。 根据两家以色列媒体的新闻调查，该系统被洗礼为“薰衣草”，在战争的最初几周内标记了 37,000 名巴勒斯坦人，并在 10 月 7 日至 11 月 24 日入侵加沙期间使用了至少 15,000 起谋杀案， +972 杂志 y 本地通话发表 也在 守护者。

该工具引起了争议，因为负责批准或不批准薰衣草系统建议的军事指挥官冷漠地将人员死亡仅作为统计数据来管理。 例如，哈马斯或伊斯兰圣战组织的每一位高级官员就有一百名平民在爆炸中丧生，这在可接受的范围内，爆炸通常会影响几座建筑物。 该系统设计为在夜间攻击目标的家，这增加了他在家的机会，但也增加了他的家人和邻居与他一起死亡的机会。

此前从未有报道称有人将选择人类军事目标这样敏感的任务自动化，而在这项任务中，误报可能意味着无辜者的死亡。 报告发表后，以色列武装部队在一份官方声明中否认他们正在让机器确定“某人是否是恐怖分子”。 信中说，信息系统“只是分析师在确定目标过程中的工具”，尽管引用的消息来源保证，官员们仅限于验证拉文德的建议，而不进行核实。

这项调查由包括 8200 部队在内的多名以色列军队和情报部门官员进行，但没有透露使用哪些参数来确定某个对象是否与哈马斯或伊斯兰圣战组织有关系。 有些被列出，例如经常更换电话号码的人（这种情况在战争背景下经常发生）或是男性（没有军官级别的女性）。

众所周知，与所有AI系统一样，Lavender仍然是一个概率模型。 您会根据估计进行工作，因此会犯错误。 根据报告中引用的官方消息来源，至少 10% 的被标记为目标的个人没有被标记为目标。 这个误差幅度，再加上军队接受的附带死亡（10 月 17 日炸死一名哈马斯指挥官的一次爆炸事件，造成多达 300 名平民），导致数千名巴勒斯坦人被杀害，其中大多数是妇女和儿童。 通过软件指示，与民兵没有任何联系。

战争自动化

薰衣草计划还辅以另一个名为“爸爸在哪里？”的计划。 （爸爸在哪里？），用于追踪已经被标记的个人，并在他们在家时进行爆炸，而《福音》则旨在识别据军队称，哈马斯武装分子活动的建筑物和结构。

Lavender 处理从加沙地带超过 230 万居民收集的信息，证实了所有居民都受到密集的数字监控网络的影响。 每个人的分数从 1 到 100 不等，按照与哈马斯或伊斯兰圣战组织武装派别有联系的估计概率从最低到最高； 那些获得最高分的人连同他们的家人和邻居都从地球表面消失了。 根据研究 +972 杂志警察们几乎没有检查拉文德建议的目标，理由是“效率”：他们花了几秒钟的时间查看每个案件，迫于每天需要收集新目标进行射击的压力。 付诸实践，这意味着验证算法的指示。

使用这种类型的系统合法吗？ “以色列军方使用人工智能来增强人类操作员的决策过程。 这种使用符合国际人道主义法，正如现代武装部队自 2001 年 9 月 11 日以来在许多不对称战争中所适用的那样，” TMC Asser 研究所研究员、颠覆性技术交叉领域专家、法学家 Magda Pacholska 说道。 和军事法。

帕乔斯卡回忆，以色列军队此前曾在2021年的“城墙守护者行动”中使用过Lavender、Gospel等自动化决策支持系统，美国、法国、荷兰等国军队也曾这样做过。 ，尽管总是违背物质目标。 “新颖之处在于，这一次，它使用这些系统来攻击人类目标，”专家强调说。

联合国委托阿瑟·霍兰·米歇尔（Arthur Holland Michel）撰写关于武装冲突中使用自主武器的报告，他补充了另一个要素。 “加沙薰衣草事件的不同之处在于，该系统的使用规模和速度是史无前例的。 在短短几个月内被确认身份的人数是惊人的，”他强调说。 “另一个关键的区别是，算法识别目标和对其发起攻击之间的时间似乎通常非常短。 这表明这个过程中没有太多的人类研究。 从法律的角度来看，这可能是有问题的，”他总结道。

帕霍尔斯卡回忆说，根据包括北约在内的许多西方国家的做法和原则，一旦确定一个人“直接参与敌对行动”，他就是一个合法目标，也可以在他的家中受到攻击：“这可能令人震惊公众，但这就是自 2001 年 9 月 11 日以来针对有组织武装团体的当代冲突的方式。”

屠杀平民是不合法的。 卡斯蒂利亚-拉曼恰大学名誉校长、国际刑法专家路易斯·阿罗约·萨帕特罗认为，该工具造成的死亡应被视为“战争罪”，而这些行为以及对建筑物和人员的大规模破坏“都是反人类罪。” 这位教授解释说，在国际法中，尽管讨论了所谓的选择性暗杀，但暗杀不被视为军事行动。 “附带损害造成的死亡纯粹是谋杀。 薰衣草系统直接就是一个平民谋杀机器，因为它允许 10 到 100 人的平民连带死亡，超出了精确的目标，”他保证道。

巴勒斯坦以色列武器实验室

巴勒斯坦人很清楚被监视是什么感觉。 以色列情报部门多年来一直在收集有关他们每个人的各种数据。 您手机的数字轨迹（从位置到社交网络上的互动）都会被处理和存储。 至少自 2019 年以来，带有自动面部识别系统的相机已经成为他们日常生活的一部分。 华盛顿邮报 报道了一个节目《蓝狼》旨在登记西岸每个居民的面孔，包括儿童和老人，并将他们与“危险”卡相关联，以便士兵在用手机在街上拍摄对象时，可以看到飞行一个颜色代码，告诉他们是否必须逮捕他。 纽约时报 已报告使用类似系统 去年年底在加沙地带部署的该系统还试图在未经巴勒斯坦人同意的情况下收集他们的面孔并对其进行分类。

所有这些技术都是由以色列公司开发的，这些公司将其出售给其武装部队，然后在保证经过实地测试的情况下出口。 “无处不在的面部识别、无人机、间谍技术……这个州确实是监控技术的孵化器。 如果你销售产品，你必须展示它在真实场景中的实时效果。 这就是以色列正在做的事情，”非政府组织好牧人集体的科迪·奥罗克（Cody O'Rourke）说道，他来自伯利恒以东的巴勒斯坦村庄拜特萨胡尔（Beit Sahour）。 这位在巴勒斯坦从事援助工作二十年的美国人知道，他和其他前往加沙的合作者的名字都在黑名单上。 这意味着以色列军事检查站将进行更多搜查和更长的等待时间。 “这是技术应用的又一层，旨在分散人口，”他通过视频通话解释道。

以色列在国际军火市场上享有盛誉。 它销售坦克、战斗机、无人机和导弹，还销售 Pegasus 等尖端系统，Pegasus 是 NSO 集团开发的间谍软件，可以访问受害者的手机，该软件在西班牙被用来全面拦截独立领导人的通信。 过程。 埃尔卡诺皇家研究所技术政策分析师 Raquel Jorge 表示：“以色列一直认为自己是网络安全领域的领导者，五六年来，它还专门研究人工智能支持的可用于军事用途的工具。” 以色列指挥官在军火博览会上的演讲在网上流传，他们用企业家术语介绍了“薰衣草”计划，并将该系统称为“检测恐怖分子的魔法尘埃”。

有些人读过研究 +972 杂志 作为以色列武装部队的一项重大营销活动。 “虽然有些人将这份报告解读为对以色列使用新技术的道德控诉，但我认为这更多是一种宣传，试图巩固其作为武器开发商在全球政治经济中的地位，”他向《国家报》哈迪贾·阿卜杜拉曼解释道。 ， 导演 逻辑杂志，一本专门研究技术与社会交叉的杂志。 “人们很容易想象苏丹的快速支援部队会在本周末之前订购薰衣草系统，”她补充道。

奥罗克也持同样的观点。 “问题不在于杀害巴勒斯坦人是错误的，而在于该系统在没有进行相关检查的情况下被不当使用。 看起来他们想推销的是有一种正确的谋杀方法。 这篇文章的发表不应该让军队感到困扰，因为如果它在以色列媒体上发表，那就意味着政府已经批准了。”这位美国人在谈到军事审查办公室否决可能损害以色列安全的信息时说道。国家。

“几十年来，以色列一直在剥夺与巴勒斯坦的和平进程的合法性，尽管它从未对实现和平感兴趣。 安东尼·洛文斯坦在他的书中写道：“它需要世界使其职业合法化，并利用技术来维持这种职业作为名片。” 巴勒斯坦实验室 （Captain Swing，2024），深入探讨了这个希伯来国家如何利用其对巴勒斯坦领土的占领来展示其数十年来在世界各地销售的军事技术。

薰衣草的使用引发了许多问题，但答案却很少。 系统使用什么类型的算法来识别潜在目标？ 此计算中考虑了哪些因素？ 系统目标建议如何验证？ 什么情况下分析师会拒绝接受系统推荐？ 霍兰德总结道：“如果我们没有这些问题的答案，就很难找到解决战争快速自动化带来的严重风险的解决方案。”

您可以关注 EL PAÍS 技术 在 Facebook y X 或在这里注册以接收我们的 时事通讯。

_