曾经“太可怕”而无法发布的 GPT-2 被挤进了 Excel 电子表格

由于人工智能大语言模型（LLM）的兴起，如今人工智能大语言模型（LLM）似乎无处不在。 聊天GPT。 现在，一位名叫 Ishan Anand 的软件开发人员成功地填充了 ChatGPT 的前身，称为 GPT-2，最初于 2019 年发布 有些惶恐 从 OpenAI 转换为可用的 Microsoft Excel 电子表格。 它是 免费提供 旨在教育人们了解法学硕士的工作方式。

阿南德在该表格的官方网站上写道：“通过使用电子表格，任何人（甚至非开发人员）都可以直接探索和体验‘真实’变压器在幕后的工作原理，并尽可能减少抽象的干扰。”称为“电子表格就是您所需要的”。 这是对 2017 年研究论文的致敬”关注就是你所需要的”首先描述了 Transformer 架构，该架构是法学硕士工作的基础。

Anand 将 GPT-2 打包成 XLSB Microsoft Excel 二进制文件格式，并且需要最新版本的 Excel 才能运行（但不适用于网页版本）。 它完全是本地的，不会对云 AI 服务进行任何 API 调用。

尽管电子表格包含完整的 AI 语言模型，但您无法像 ChatGPT 那样与它聊天。 相反，用户在其他单元格中输入单词，并几乎立即看到不同单元格中显示的预测结果。 回想一下，像 GPT-2 这样的语言模型的设计目的是 下一个标记预测，这意味着他们尝试用最有可能的文本完成输入（称为提示，被编码成称为标记的块）。 预测可以是句子或任何其他基于文本的任务（例如软件代码）的延续。 Anand 的 Excel 文件中的不同工作表使用户能够了解这些预测发生时幕后发生的情况。

Spreadsheets-are-all-you-ne-ne 仅支持 10 个输入标记。 与 128,000 个令牌上下文窗口相比，这很小 GPT-4涡轮增压，但这足以展示法学硕士如何工作的一些基本原则，阿南德在他上传到 YouTube 的一系列免费教程视频中详细介绍了这些原则。

阿南德在接受 Ars Technica 采访时表示，他启动这个项目是为了满足自己的好奇心并详细了解 Transformer。 “现代人工智能与我获得计算机科学学位时学到的人工智能非常不同，我觉得我需要回到基础知识才能真正拥有一个关于它如何工作的心智模型。”

他说他最初打算用 JavaScript 重新创建 GPT-2，但他喜欢电子表格 – 他称自己为“电子表格瘾君子”。 他从数据科学家杰里米·霍华德（Jeremy Howard）的 快速人工智能 前 OpenAI 工程师 Andrej Karpathy 的 AI 教程 在YouTube上。

“当我看完 Karpathy 的视频后，我意识到 GPT 主要只是一个大型计算图（如电子表格），”他说，“而且 [I] 喜欢杰里米在课程中经常使用电子表格来使材料更容易理解的方式。 看完这两篇文章后，我突然意识到可以在电子表格中完成整个 GPT-2 模型。”

我们问：他在电子表格中实施法学硕士有什么困难吗？ “GPT2 的实际算法主要是大量数学运算，这对于电子表格来说是完美的，”他说。 “事实上，最难的部分是将单词转换为数字（称为标记化的过程），因为它是文本处理，也是唯一不是数学的部分。用传统的编程语言来完成这部分会比用传统的编程语言更容易。在电子表格中。”

当 Anand 需要帮助时，他自然会从 GPT-2 的后代那里得到一点帮助：“值得注意的是，ChatGPT 本身在这个过程中非常有帮助，帮助我解决了我会遇到的棘手问题或理解算法的各个阶段，但它也 产生幻觉 所以我必须反复检查很多次。”

GPT-2再次骑行

这整个壮举之所以成为可能，是因为 OpenAI 释放 2019 年 11 月 GPT-2 的神经网络权重和源代码。看到该特定模型被纳入教育电子表格中特别有趣，因为当它于 2019 年 2 月宣布时，OpenAI 害怕释放它—该公司看到了 GPT-2 可能“被用来大规模生成欺骗性、偏见或辱骂性语言”的潜力。

尽管如此，该公司还是在 2019 年 11 月发布了完整的 GPT-2 模型（包括本地运行所需的权重文件），但该公司于 2020 年推出的下一个主要模型 GPT-3 尚未收到开放权重版本。 GPT-3 的变体后来构成了 ChatGPT 初始版本的基础， 2022年推出。

Anand 的电子表格实现运行“GPT-2 Small”，与完整的 15 亿参数版本的 GPT-2 不同，它包含 1.24 亿个参数。 （参数是 AI 模型中的数值，用于存储从训练数据中学习到的模式。）与 GPT-3 中的 1750 亿个参数（以及 甚至更大的型号），如果今天发布，它可能不符合“大型”语言模型的资格。 但在 2019 年，GPT-2 被认为是最先进的。

您可以下载注入 GPT-2 的电子表格 在 GitHub 上，但请注意，它大约为 1.2GB。 Anand 表示，由于其复杂性，它经常会导致 Excel 锁定或崩溃，尤其是在 Mac 上； 他建议在 Windows 上运行该表。 “强烈建议在 Excel 和 Windows 版本的 Excel 中使用手动计算模式（在 Windows 目录上或通过 Mac 上的 Parallels），”他在自己的网站上写道。

在你问之前，Google Sheets 目前是不可能的：“这个项目实际上是在 Google Sheets 上开始的，但完整的 124M 模型太大了，所以切换到了 Excel，”Anand 写道。 “我仍在探索在 Google Sheets 中实现此功能的方法，但它不太可能像 Excel 那样适合单个文件。”