自动化思维的隐性成本
与许多药物一样，清醒药物莫达非尼（以商品名 Provigil 销售）附带一本紧密折叠的小纸质小册子。 在大多数情况下，它的内容——说明和注意事项清单、药物分子结构图——适合阅读以缓解疼痛。 然而，名为“作用机制”的小节， 包含一句话 这本身可能会导致失眠：“莫达非尼促进清醒的机制尚不清楚。” 普罗维吉尔并不是独一无二的神秘。 许多药物都获得了监管部门的批准，并被广泛使用，尽管没有人确切知道它们是如何发挥作用的。 这个谜团植根于药物发现的过程中，而药物发现的过程通常是通过反复试验来进行的。 每年，都会在培养细胞或动物中测试任意数量的新物质； 其中最好和最安全的方法已经在人身上进行了试验。 在某些情况下，一种药物的成功会立即激发新的研究，最终解释其作用原理——但并非总是如此。 阿司匹林于 1897 年被发现，但无人能令人信服地解释其作用原理 直到1995年。 同样的现象也存在于医学的其他领域。 深部脑刺激 涉及将电极植入患有特定运动障碍（例如帕金森病）的人的大脑中； 它已经广泛使用了二十多年，有些人认为它应该用于其他目的，包括一般认知增强。 没有人能说出它是如何运作的。 这种发现方法——先回答，然后解释——产生了我所说的智力债务。 可以在不知道为什么有效的情况下发现什么有效，然后立即运用这种洞察力，假设稍后会弄清楚底层机制。 在某些情况下，我们很快还清了智力债务。 但是，在其他方面，我们让它复杂化，数十年来依赖于尚未完全了解的知识。 过去，智力债仅限于少数可以通过试错发现的领域，例如医学。 但随着人工智能的新技术（特别是机器学习）增加我们的集体智力信用额度，这种情况可能正在改变。 机器学习系统通过识别数据海洋中的模式来工作。 利用这些模式，他们可以冒险回答模糊的、开放式的问题。 为神经网络提供猫和其他非猫科动物物体的标记图片，它就会学会将猫与其他物体区分开来； 让它访问医疗记录，它可以尝试预测新住院患者的病情 死亡的可能性。 然而，大多数机器学习系统并没有揭示因果机制。 它们是统计相关引擎。 他们无法解释为什么他们认为某些患者更有可能死亡，因为他们不会以任何口语意义上的方式“思考”——他们只是回答。 当我们开始将他们的见解融入我们的生活时，我们将共同开始积累越来越多的智力债务。 制药领域的无理论进步向我们表明，在某些情况下，智力债务可能是不可或缺的。 我们根本不理解的干预措施拯救了数百万人的生命，我们也因此变得更好。 很少有人会拒绝服用救命药物——或者就此而言，阿司匹林——仅仅是因为没有人知道它是如何发挥作用的。 但智力债务的累积也有其缺点。 随着作用机制未知的药物激增，发现不良相互作用所需的测试数量必须呈指数级增长。 （如果了解药物的作用原理，就可以提前预测不良的相互作用。）因此，在实践中，新药上市后会发现相互作用，从而形成药物被引入、然后被放弃的循环，其间还有集体诉讼。 在每种情况下，积累与新药相关的智力债务可能是一个合理的想法。 但智力债务并不是孤立存在的。 在不同领域发现和部署的没有理论的答案可能会以不可预测的方式使彼此复杂化。 通过机器学习产生的智力债务所带来的风险超出了通过旧式试错产生的风险。 由于大多数机器学习模型无法为它们正在进行的判断提供理由，因此如果人们还没有对它们提供的答案进行独立判断，就无法判断它们何时失败。 在训练有素的系统中，失火的情况很少见。 但它们也可能是由知道要输入该系统的数据类型的人有意触发的。 考虑图像识别。 十年前，计算机无法轻松识别照片中的物体。 如今，图像搜索引擎与我们日常交互的许多系统一样，都基于功能异常强大的机器学习模型。 谷歌的图像搜索依赖于一个名为“神经网络”的神经网络 盗梦空间。 […]