与许多药物一样，清醒药物莫达非尼（以商品名 Provigil 销售）附带一本紧密折叠的小纸质小册子。 在大多数情况下，它的内容——说明和注意事项清单、药物分子结构图——适合阅读以缓解疼痛。 然而，名为“作用机制”的小节， 包含一句话 这本身可能会导致失眠：“莫达非尼促进清醒的机制尚不清楚。”
普罗维吉尔并不是独一无二的神秘。 许多药物都获得了监管部门的批准，并被广泛使用，尽管没有人确切知道它们是如何发挥作用的。 这个谜团植根于药物发现的过程中，而药物发现的过程通常是通过反复试验来进行的。 每年，都会在培养细胞或动物中测试任意数量的新物质； 其中最好和最安全的方法已经在人身上进行了试验。 在某些情况下，一种药物的成功会立即激发新的研究，最终解释其作用原理——但并非总是如此。 阿司匹林于 1897 年被发现，但无人能令人信服地解释其作用原理 直到1995年。 同样的现象也存在于医学的其他领域。 深部脑刺激 涉及将电极植入患有特定运动障碍（例如帕金森病）的人的大脑中； 它已经广泛使用了二十多年，有些人认为它应该用于其他目的，包括一般认知增强。 没有人能说出它是如何运作的。
这种发现方法——先回答，然后解释——产生了我所说的智力债务。 可以在不知道为什么有效的情况下发现什么有效，然后立即运用这种洞察力，假设稍后会弄清楚底层机制。 在某些情况下，我们很快还清了智力债务。 但是，在其他方面，我们让它复杂化，数十年来依赖于尚未完全了解的知识。
过去，智力债仅限于少数可以通过试错发现的领域，例如医学。 但随着人工智能的新技术（特别是机器学习）增加我们的集体智力信用额度，这种情况可能正在改变。 机器学习系统通过识别数据海洋中的模式来工作。 利用这些模式，他们可以冒险回答模糊的、开放式的问题。 为神经网络提供猫和其他非猫科动物物体的标记图片，它就会学会将猫与其他物体区分开来； 让它访问医疗记录，它可以尝试预测新住院患者的病情 死亡的可能性。 然而，大多数机器学习系统并没有揭示因果机制。 它们是统计相关引擎。 他们无法解释为什么他们认为某些患者更有可能死亡，因为他们不会以任何口语意义上的方式“思考”——他们只是回答。 当我们开始将他们的见解融入我们的生活时，我们将共同开始积累越来越多的智力债务。
制药领域的无理论进步向我们表明，在某些情况下，智力债务可能是不可或缺的。 我们根本不理解的干预措施拯救了数百万人的生命，我们也因此变得更好。 很少有人会拒绝服用救命药物——或者就此而言，阿司匹林——仅仅是因为没有人知道它是如何发挥作用的。 但智力债务的累积也有其缺点。 随着作用机制未知的药物激增，发现不良相互作用所需的测试数量必须呈指数级增长。 （如果了解药物的作用原理，就可以提前预测不良的相互作用。）因此，在实践中，新药上市后会发现相互作用，从而形成药物被引入、然后被放弃的循环，其间还有集体诉讼。 在每种情况下，积累与新药相关的智力债务可能是一个合理的想法。 但智力债务并不是孤立存在的。 在不同领域发现和部署的没有理论的答案可能会以不可预测的方式使彼此复杂化。
通过机器学习产生的智力债务所带来的风险超出了通过旧式试错产生的风险。 由于大多数机器学习模型无法为它们正在进行的判断提供理由，因此如果人们还没有对它们提供的答案进行独立判断，就无法判断它们何时失败。 在训练有素的系统中，失火的情况很少见。 但它们也可能是由知道要输入该系统的数据类型的人有意触发的。
考虑图像识别。 十年前，计算机无法轻松识别照片中的物体。 如今，图像搜索引擎与我们日常交互的许多系统一样，都基于功能异常强大的机器学习模型。 谷歌的图像搜索依赖于一个名为“神经网络”的神经网络 盗梦空间。 2017 年，麻省理工学院 第六实验室——一个由本科生和研究生组成的研究小组——成功地 改变猫照片的像素 因此，虽然它在人眼中看起来像一只猫，但《盗梦空间》99.99% 地确信它收到了一张鳄梨酱的照片。 （据计算，这张照片显示西兰花或砂浆的可能性很小。）当然，《盗梦空间》无法解释哪些特征导致它得出猫就是猫的结论；它的结论是，猫就是猫。 因此，没有简单的方法可以预测当呈现特制或损坏的数据时它可能会如何失败。 这样的系统在准确性方面可能存在未知的差距，对于聪明而坚定的攻击者来说，这相当于漏洞。
随着机器学习系统生成的知识投入使用，这些差距可能会产生重大影响。 医疗保健人工智能已经 成功训练 将皮肤病变分类为良性或恶性。 然而，正如哈佛医学院和麻省理工学院的一组研究人员在一项研究中所表明的那样， 纸 今年发表的文章——他们也可能被欺骗，使用将猫变成鳄梨酱的相同技术做出不准确的判断。 （除此之外，攻击者可能会利用这些漏洞来实施 保险诈骗.) 受到此类系统预测能力的诱惑，我们可能会让他们承诺取代的人类法官下台。 但它们仍然容易受到劫持——而且我们没有简单的过程来验证它们继续产生的答案。
我们能否创建一个智力债务资产负债表——一个跟踪无理论知识在何处以及如何使用的系统？ 我们的会计可以反映出这样一个事实：并非所有智力债务都同样存在问题。 如果人工智能产生 新的披萨食谱，闭嘴享受披萨可能是有意义的； 相比之下，当我们开始使用人工智能进行健康预测和建议时，我们会希望获得充分的信息。
建立和维护全社会的知识债务资产负债表可能需要改进我们处理商业秘密和其他知识产权的方法。 在城市，建筑法规要求业主公开披露他们的改造计划。 同样，我们可能会探索要求图书馆或大学接受托管的隐藏数据集和算法，这些数据集和算法已找到一定程度的公共使用。 这将使研究人员能够开始探索我们所依赖的模型和基础数据，并通过构建理论，在我们的智力债务以错误和漏洞的形式到期之前偿还债务。
机器学习模型的日益普及，以及任何人都可以创建模型的事实，注定会使这一会计过程变得困难。 但这至关重要。 单独来看，深刻的答案可以产生持续有用的结果。 但这些系统不会保持孤立状态：当人工智能收集和摄取世界数据时，它们将产生自己的数据，其中大部分将被其他系统占用。 正如作用机制未知的药物有时会相互作用一样，负债累累的算法也会相互作用。
即使是简单的互动也可能会带来麻烦。 2011 年，一位名叫迈克尔·艾森 (Michael Eisen) 的生物学家从他的一名学生那里发现，一本平淡无奇的二手书的最便宜副本——《苍蝇的制作：动物设计的遗传学》——在亚马逊上售价 1.7 美元百万美元，另加 3.99 美元运费。 第二便宜的副本花费了 210 万美元。 各自的卖家都很有名气，有数千条正面评价。 当艾森连续几天访问这本书的亚马逊页面时，他发现价格正在以规律的方式持续上涨。 卖家A的价格始终是卖家B价格的99.83%； 卖家 B 的价格每天都会重置为卖家 A 价格的 127.059%。 艾森 推测 卖家 A 拥有这本书的副本，并且正在寻求降低下一个最便宜的价格。 与此同时，卖家 B 没有该书，因此将这本书定价更高； 如果有人购买了它，B 可以代表该客户从 A 处订购。
每个卖家的假定策略都是理性的。 正是他们的算法的相互作用产生了不合理的结果。 数以千计的机器学习系统在野外的交互有望变得更加不可预测。 金融市场已经部署了尖端的机器学习系统，为此类问题提供了明显的滋生地。 2010 年，在令人痛苦的三十六分钟内，由算法交易驱动的“闪电崩盘”使美国主要股指蒸发了超过一万亿美元。 去年秋天，摩根大通分析师 Marko Kolanovic 争论 这种崩溃很容易再次发生，因为比以往任何时候都更多的交易是基于自动化系统的。 智力债务可能会在系统相互碰撞的间隙中积累，即使它们没有正式互连。 如果没有类似资产负债表的东西，就无法提前或回顾地确定任何特定数量的智力债务是否值得承担。
我们智力债务的增加也可能涉及我们思维方式的转变——远离基础科学和 走向应用技术。 与粒子加速器（由富裕政府财团支持并由学术研究机构运营的大型资本项目）不同，机器学习工具很容易被私营企业和学术界采用。 事实上，谷歌和 Facebook 可能比任何计算机科学或统计部门更容易获得能够产生有用预测的数据。 商人可能会对这些无法解释的知识感到非常满意，但智力债务仍将不断增加。 它将由企业持有，远离可能最有兴趣偿还债务的学术研究人员。
很容易想象，基于机器学习的知识的可用性将使资金从那些坚持尝试自己解决问题的较长路线的研究人员手中转移。 去年 12 月，研究蛋白质折叠的研究员 Mohammed AlQuraishi 写了一篇文章 探索他的领域的最新发展：创建一个机器学习模型，可以比人类研究人员更准确地预测蛋白质折叠。 AlQuiraishi 发现自己在哀叹理论对数据的丧失，尽管他试图让自己接受这一点。 “概念性论文或提供一些新分析见解的论文的声望要低得多，”他说， 在采访中。 随着机器让发现变得更快，人们可能会认为理论家是无关的、多余的，而且完全落后于时代。 关于特定领域的知识将不如创建机器学习模型以产生该主题答案的专业知识更有价值。
金融债务将控制权从借款人转移到贷款人，从未来转移到过去。 不断增加的智力债务也可能会转移控制权。 一个没有理解的知识世界变成了一个没有明显因果关系的世界，在这个世界中，我们越来越依赖数字礼宾来告诉我们该做什么以及何时做什么。 例如，很容易想象，大学招生委员会如何将繁琐且不确定的申请人筛选工作转变为机器学习模型； 这种模式可能旨在优化新生群体，不仅是为了学业上的成功，也是为了和谐的关系和慷慨的校友捐赠。 理解这个世界的唯一方法可能是使用我们自己的人工智能——神经网络来微调我们的社交媒体资料，让我们看起来完美地融入新生班级。
也许所有这些技术都会起作用——但这反过来又会成为一个问题。 对人工智能的许多及时批评都正确地集中在它可能出错的方式上：它可以产生或复制偏见； 它可能会犯错误； 它可能会被用于邪恶的目的。 不过，我们也应该担心当人工智能正确处理时会发生什么。
)
