量子科学家报告称，范畴论为可解释的人工智能提供了途径

内部简讯

• 人工智能（AI）的使用已成为主流，但这些系统缺乏可解释性仍然是一个关键问题。
• 人工智能系统如何得出答案和解决方案往往是不透明的，这带来了重大的问责挑战。
• 量子科学家提出了人工智能可解释性的一种新范式转变，大量借鉴了范畴论的原理。
• 图片：基于人工智能的此项研究处理毫无疑问缺乏可解释性。

人工智能 (AI) 的应用数量激增，但这些系统缺乏可解释性仍然是一个关键问题，也引起了越来越多的担忧。神经网络的复杂工作原理（例如支持大型语言模型 (LLM) 的神经网络，例如 ChatGPT 或 Claude）通常不透明，这给需要问责制的领域（例如金融、医疗保健和法律部门）带来了重大挑战。

这些不透明的人工智能建议乍一听可能很技术性，而且大多是学术性的，但它们却具有现实意义。例如，缺乏可解释性可能会危及患者安全，而在金融领域，不透明的人工智能信用评分可能会导致偏见和监管合规问题。

随着量子人工智能的出现，可解释性可能成为一个更大的问题，因为如果没有强大的框架，量子模型的复杂性可能会进一步掩盖决策过程。

在公司报告 博客文章 并作为预印本服务器 ArXiv 上的学术论文，研究人员 多少 其中包括一批备受尊敬的人工智能科学家，他们利用量子力学和范畴论的原理，提出了人工智能可解释性的新范式转变。

该论文非常详细，但下面的细分希望能总结出该团队的主要见解。

可解释性问题

研究人员表示，当前许多人工智能模型的核心问题在于其“黑箱”性质。这些模型，尤其是深度学习神经网络，在执行任务时表现出色，但对其决策过程却知之甚少。这种不透明性在高风险领域是一个重大缺陷，因为在这些领域，了解如何得出结论对于确保安全和合乎道德的使用至关重要。

可解释人工智能 (XAI) 应运而生，旨在解决这一问题。XAI 采用“事后”技术，试图阐明预训练模型的行为。使用诸如显着图、Shapley 值和反事实解释等方法使这些模型更加透明。然而，这些技术通常提供近似的、有时不可靠的解释。

范畴论的新方法

Quantinuum 的研究人员通过应用范畴论（一种描述过程及其组成的数学框架）为人工智能的可解释性带来了新视角。范畴论如今已应用于计算机科学等领域，它有助于通过 Haskell 等语言设计和理解软件；在数学领域，该理论通过展示不同思想之间的相互关系来指导它们之间的联系。它还帮助物理学家在量子力学等领域建模和理解复杂系统。

该范畴论方法在最近的 arXiv 论文中得到了深入详述，其中团队提出了一个用于定义人工智能模型和分析其可解释性的全面理论框架。

研究人员在博客文章中写道：“在 Quantinuum，我们将继续致力于开发人工智能的新范式，同时也致力于完善理论和基础工具，让我们所有人都能评估给定模型的可解释性。通过这个框架，我们展示了人工智能模型拥有明确而有意义的组合结构是多么有利。”

Quantinuum 方法的核心是组合模型的概念。这些模型从一开始就采用明确且有意义的结构进行设计，使其具有内在的可解释性。与传统神经网络不同，组合模型可以清楚地了解不同组件如何相互作用并影响整个决策过程。

论文合著者 Sean Tull 在文中阐述了他对这一发展意义的看法：“在最好的情况下，这种本质上可解释的模型甚至不再需要 XAI 方法，而是作为它们自己的解释，一种更深层次的解释。”

研究人员利用范畴论开发了一种图形演算，可以捕捉人工智能模型的组成结构。这种方法不仅为解释经典模型铺平了道路，而且还扩展到量子模型。该团队写道，该方法提供了一个精确的、数学定义的框架，用于评估人工智能系统的可解释性。

实际影响

如果这项研究成立，其影响将是深远而深远的。例如，虽然对 ChatGPT 等模型不可或缺的转换器被发现是不可解释的，但线性模型和决策树等更简单的模型本质上是可解释的。换句话说，通过定义和分析 AI 模型的组成结构，Quantinuum 的框架能够开发出设计上可解释的系统。

为了了解这将如何影响人工智能在现实世界中的使用，这项研究可能会让开发人员更好地处理使用 LLM 的人经常遇到的问题：这些模型的错误“幻觉”。在这些幻觉中，人工智能会产生不正确的信息——通常是非常不正确的信息。通过应用范畴论来开发固有可解释的人工智能模型，研究人员可以更好地理解和控制这些模型的决策过程。这种改进的可解释性可以帮助识别和缓解 LLM 生成不正确或无意义信息的情况，从而减少幻觉的发生。

范畴论和弦图的使用为模型行为提供了多种形式的图解解释。这些解释包括影响约束和图形方程，有助于更深入地理解人工智能系统，提高其透明度和可靠性。

研究人员在博客文章中写道：“XAI 领域的一个基本问题是许多术语尚未得到严格定义；这使得研究（更不用说讨论）人工智能的可解释性变得困难。我们的论文标志着首次开发出一种用于评估人工智能模型组合可解释性的框架。”

未来发展方向

Quantinuum 的方法为进一步探索组合模型及其应用铺平了道路。该团队设想的未来是，人​​工智能模型不仅功能强大，而且透明且可信赖。他们正在进行的研究旨在完善这些理论工具，并将其应用于经典和量子人工智能系统，最终实现更安全、更值得信赖的人工智能应用。

研究人员在博客文章中强调，“这项工作是我们更广泛的人工智能战略的一部分，该战略包括使用人工智能来改进量子计算，使用量子计算机来改进人工智能，以及——在这种情况下——使用范畴论和组合性的工具来帮助我们更好地理解人工智能。”

除了 Tull 和 Khan，Quantinuum 团队还包括：Robin Lorenz、Stephen Clark 和 Bob Coecke

如需更深入、更技术性地研究该研究，您可以访问 arXiv 上的完整论文 这里。