8 名谷歌员工发明了现代人工智能。 这是内幕故事

截止日期前的最后两周是疯狂的。 尽管官方上一些团队成员仍然在 1945 号大楼里使用办公桌，但他们大部分时间都在 1965 年工作，因为它的微型厨房里有一台更好的浓缩咖啡机。 “人们没有睡觉，”戈麦斯说，作为实习生，他生活在不断的调试狂潮中，还为论文制作了一些图表。 在此类项目中，进行消融是很常见的——把东西拿出来看看剩下的东西是否足以完成工作。

“技巧和模块有各种可能的组合——哪个有帮助，哪个没有帮助。 我们把它撕下来吧。 让我们用这个来代替它吧，”戈麦斯说。 “为什么模型会以这种违反直觉的方式表现？ 哦，这是因为我们没有记得正确进行遮罩。 还有效吗？ 好的，继续下一步。 我们现在称之为变压器的所有这些组件都是这种极快节奏、迭代试验和错误的输出。” 琼斯说，在 Shazeer 实施的帮助下，这些消融产生了“极简主义的东西”。 “诺姆是个巫师。”

瓦斯瓦尼回忆说，有一天晚上，团队正在写论文时，他瘫倒在办公室的沙发上。 当他盯着将沙发与房间其他部分隔开的窗帘时，他被布料上的图案震惊了，在他看来，这些图案就像突触和神经元。 戈麦斯在那里，瓦斯瓦尼告诉他，他们正在做的事情将超越机器翻译。 “最终，就像人脑一样，你需要将所有这些模式——语音、音频、视觉——统一在一个架构下，”他说。 “我有一种强烈的预感，我们正在研究一些更普遍的东西。”

然而，在谷歌高层，这项工作被视为另一个有趣的人工智能项目。 我问了几位《变形金刚》的工作人员，他们的老板是否曾召集他们询问项目的最新情况。 没那么多。 但“我们知道这可能是一件大事，”Uszkoreit 说。 “这让我们真正着迷于论文最后的一句话，我们对未来的工作发表了评论。”

这句话预示了接下来可能发生的事情——变压器模型应用于基本上所有形式的人类表达。 “我们对基于注意力的模型的未来感到兴奋，”他们写道。 “我们计划将变压器扩展到涉及文本以外的输入和输出模式的问题”并研究“图像、音频和视频”。

截止日期前的几个晚上，Uszkoreit 意识到他们需要一个冠军。 琼斯指出，该团队已经彻底拒绝了公认的最佳实践，尤其是 LSTM，其中一项技术是：注意力。 琼斯回忆道，披头士乐队将一首歌命名为“你所需要的就是爱”。 为什么不把这篇论文称为“注意力就是你所需要的”呢？

披头士？

“我是英国人，”琼斯说。 “实际上花了五秒钟的时间思考。 我没想到他们会使用它。”

他们继续收集实验结果，直到截止日期。 “大约在我们提交论文前五分钟，英法数据就出来了，”帕尔玛说。 “1965 年，我坐在微型厨房里，输入最后一个数字。” 只剩下不到两分钟的时间，他们就寄出了报纸。