评估加泰罗尼亚囚犯危险性的算法以“随机”方式运作 | 技术

加泰罗尼亚监狱系统使用 RisCanvi 算法已有 15 年，该算法旨在帮助法官做出敏感决定，例如授予三级或有条件释放。反向审计（未访问官方数据进行）得出的结论是，该程序对流程的贡献值得怀疑。“我们审计的系统似乎以随机的方式运行，因为相似的因素和行为组合 [de presos] 会导致分配非常不同的风险等级，”Eticas基金会编写的报告中写道，EL PAÍS已获得该报告的访问权。

当西班牙的囚犯申请某些监狱许可证时，必须批准或拒绝该申请的法官会收到一份关于该囚犯的报告。这份文件由囚犯所在中心的专业人员准备，提供了做出决定的依据（历史、行为等）。在加泰罗尼亚，这份报告的一部分由 RisCanvi 准备，它根据一系列变量计算受试者的再次犯罪风险，并为其分配不同的权重。这一关键信息，即算法的结构，是不公开的。

尽管 RisCanvi 处理的是监狱许可证这样一个敏感问题，但它并未接受《欧洲人工智能法规》所要求的影响评估流程。RisCanvi 创始人兼首席执行官 Gemma Galdon 强调：“尽管 RisCanvi 的算法不使用人工智能 (AI)，而是精算算法，因为它是一个做出与刑事司法和监狱事务等高风险问题相关的决策的技术过程，但它属于法规对人工智能的广义定义，因此受法规约束。” Eticas.ai一家专门从事算法审计的公司，其中包括 Eticas 基金会。

在加泰罗尼亚政府拒绝了免费常规审计的提议后，加尔登的团队决定进行反向审计。这种分析称为逆向工程，即从成品模型中获取有关产品组件和制造过程的信息。在 RisCanvi 的案例中，Eticas 的研究人员首先询问了六名曾使用过该算法的前囚犯，以及两名熟悉该算法的社会教育工作者、三名专业心理学家、四名律师和一名活动家。他们还分析了 2015 年从加泰罗尼亚监狱释放的 3,600 名个人的公开数据。利用这些信息，他们试图评估该算法的效果，以了解其工作原理。

审计报告指出：“RisCanvi 系统对受影响的囚犯来说是未知的；许多使用它的人并不信任它，他们也没有接受过有关其操作和权重的培训；它不透明，并且没有遵守西班牙关于使用自动决策系统的现行规定，西班牙自 2016 年以来就要求进行人工智能审计。”“但最重要的是，我们的数据显示 RisCanvi 可能不公平或不可靠，而且它未能 (…) 标准化结果并限制自由裁量权。与之前的研究一致，我们认为 RisCanvi 并不可靠，因为这需要风险因素、风险行为和风险评分之间存在明确的关系。”

“这是我们通过分析收集到的数据得出的结论。如果司法部有其他数据，我们很乐意核实和比较它们，”加尔东说，他抱怨加泰罗尼亚政府缺乏合作。他的团队已经为这个项目工作了两年。“当司法部发现我们在做这项工作时，它禁止与监狱机构相关的工作人员回应我们提出的第一个信息请求，”他解释道。他们停止了调查，因为该部承诺进行内部审计。“六个月过去了，没有任何消息表明这方面有任何进展，我们又恢复了工作，”加尔东说。

接受报告采访的一位心理学家表示，很少有囚犯知道他们正在接受 RisCanvi 的评估。审计报告指出：“他们不知道这种算法决定了他们将享受的监狱福利的质量和情况。”“我不相信一种工具可以预测人类行为。尽管它收集了大量信息，而且它得出的结果似乎是客观的，但我们谈论的是人，”道德团队咨询的一位律师说。

关于 RisCanvi 的已知信息

RisCanvi 每六个月更新一次，系统会根据狱警向计算机输入囚犯报告所提供的数据进行更新。首先，系统会应用一个简短版（RisCanvi 筛查），其中包含十个项目，包括囚犯的暴力史（如果有的话）或首次犯罪的年龄，以及囚犯是否曾经或现在有吸毒或酗酒问题，或者囚犯是否有资源和家庭支持。

算法的结果可能是低风险或高风险。如果风险很高，则激活 RisCanvi 的扩展版本，它由 43 个元素组成，需要一名警官与囚犯进行预定的面谈。在 RisCanvi 的完整版本中，会考虑囚犯家与监狱之间的距离、其周围环境的犯罪史、教育水平、社交困难、智商、人格障碍、当事人是否是家庭的主要收入来源或其冲动和情绪不稳定程度等问题。这些元素中的每一个都会自动加权，其权重因性别、年龄和国籍而异。算法的最终裁决可能是低风险、中风险或高风险。

然而，公式中分配给每个变量的权重（这是了解算法工作原理的关键信息）并未公开。该工具的一些支持者认为，如果将权重公开，囚犯就会知道如何通过小动作来篡改 RisCanvi 评估结果，使其有利于自己的利益。加尔登不理解这种批评。“知道自己被审判的依据是法治的基本规则。认为这是一个问题，就是不了解我们法律体系中非常基本的东西是基于什么的，”他解释道。

评估不足

有些专家认为进行算法审计毫无意义，甚至认为这样做也会使多年来一直受到质疑的工作方式合法化。“关于精算方法的文章已经写得非常多了，解释了它为何与我们法律文化中的正义概念相矛盾，法律文化在方法论上是个人主义的，但使用通用统计方法（因此不是个人的）来评估一个人，”算法伦理专家、欧洲议会等机构的顾问 Lorena Jaume-Palasí 总结道。

他在一份声明中表示：“该算法试图让每个人都平等。它旨在帮助专业人士提高工作效率，但不具有约束力。” Antonio Andrés Pueyo 访谈巴塞罗那大学暴力心理学教授、开发 RisCanvi 的研究小组主任。

Jaume-Palasí 回答说：“它不具有约束力，但具有强制性。”这位专家认为，现在是时候解释司法任务是什么了，“以及为什么这种制度不构成行政程序的改变，而是一种旧方法，只是通过数字化来继续做一直在做的事情。”

您可以关注 国家科技 在 Facebook 是 X 或在此注册以接收我们的 时事通讯。

_