量子科学家报告称，范畴论为可解释的人工智能提供了途径
内部简讯 人工智能（AI）的使用已成为主流，但这些系统缺乏可解释性仍然是一个关键问题。 人工智能系统如何得出答案和解决方案往往是不透明的，这带来了重大的问责挑战。 量子科学家提出了人工智能可解释性的一种新范式转变，大量借鉴了范畴论的原理。 图片：基于人工智能的此项研究处理毫无疑问缺乏可解释性。 人工智能 (AI) 的应用数量激增，但这些系统缺乏可解释性仍然是一个关键问题，也引起了越来越多的担忧。神经网络的复杂工作原理（例如支持大型语言模型 (LLM) 的神经网络，例如 ChatGPT 或 Claude）通常不透明，这给需要问责制的领域（例如金融、医疗保健和法律部门）带来了重大挑战。 这些不透明的人工智能建议乍一听可能很技术性，而且大多是学术性的，但它们却具有现实意义。例如，缺乏可解释性可能会危及患者安全，而在金融领域，不透明的人工智能信用评分可能会导致偏见和监管合规问题。 随着量子人工智能的出现，可解释性可能成为一个更大的问题，因为如果没有强大的框架，量子模型的复杂性可能会进一步掩盖决策过程。 在公司报告 博客文章 并作为预印本服务器 ArXiv 上的学术论文，研究人员 多少 其中包括一批备受尊敬的人工智能科学家，他们利用量子力学和范畴论的原理，提出了人工智能可解释性的新范式转变。 该论文非常详细，但下面的细分希望能总结出该团队的主要见解。 可解释性问题 研究人员表示，当前许多人工智能模型的核心问题在于其“黑箱”性质。这些模型，尤其是深度学习神经网络，在执行任务时表现出色，但对其决策过程却知之甚少。这种不透明性在高风险领域是一个重大缺陷，因为在这些领域，了解如何得出结论对于确保安全和合乎道德的使用至关重要。 可解释人工智能 (XAI) 应运而生，旨在解决这一问题。XAI 采用“事后”技术，试图阐明预训练模型的行为。使用诸如显着图、Shapley 值和反事实解释等方法使这些模型更加透明。然而，这些技术通常提供近似的、有时不可靠的解释。 范畴论的新方法 Quantinuum 的研究人员通过应用范畴论（一种描述过程及其组成的数学框架）为人工智能的可解释性带来了新视角。范畴论如今已应用于计算机科学等领域，它有助于通过 Haskell 等语言设计和理解软件；在数学领域，该理论通过展示不同思想之间的相互关系来指导它们之间的联系。它还帮助物理学家在量子力学等领域建模和理解复杂系统。 该范畴论方法在最近的 arXiv 论文中得到了深入详述，其中团队提出了一个用于定义人工智能模型和分析其可解释性的全面理论框架。 研究人员在博客文章中写道：“在 Quantinuum，我们将继续致力于开发人工智能的新范式，同时也致力于完善理论和基础工具，让我们所有人都能评估给定模型的可解释性。通过这个框架，我们展示了人工智能模型拥有明确而有意义的组合结构是多么有利。” Quantinuum 方法的核心是组合模型的概念。这些模型从一开始就采用明确且有意义的结构进行设计，使其具有内在的可解释性。与传统神经网络不同，组合模型可以清楚地了解不同组件如何相互作用并影响整个决策过程。 论文合著者 Sean Tull 在文中阐述了他对这一发展意义的看法：“在最好的情况下，这种本质上可解释的模型甚至不再需要 XAI 方法，而是作为它们自己的解释，一种更深层次的解释。” 研究人员利用范畴论开发了一种图形演算，可以捕捉人工智能模型的组成结构。这种方法不仅为解释经典模型铺平了道路，而且还扩展到量子模型。该团队写道，该方法提供了一个精确的、数学定义的框架，用于评估人工智能系统的可解释性。 实际影响 如果这项研究成立，其影响将是深远而深远的。例如，虽然对 ChatGPT 等模型不可或缺的转换器被发现是不可解释的，但线性模型和决策树等更简单的模型本质上是可解释的。换句话说，通过定义和分析 AI 模型的组成结构，Quantinuum […]