教授人工智能的成本越来越高，很快可能就不值得了

2017 年夏天，谷歌推出了一种新的神经网络架构——Transformer。这家科技巨头当时宣称：“除了更高的翻译质量外，Transformer 训练所需的计算量更少，更适合现代机器学习硬件，可将训练速度提高几个数量级。”训练该模型的成本为 930 美元。

仅举个例子，今年时任总统泽曼签署了对杀人犯伊日·卡伊内克 (Jiří Kajínek) 的赦免令，ANO 赢得了众议院选举，并且根据 2014 年的考虑，地铁 D 线第一段应该已经开始建设。

六年后，谷歌推出了多款人工智能产品，但该公司新旗舰产品的开发成本要高得多。据 斯坦福大学研究和 Epoch AI 公司 仅学习 Gemini Ultra 就花费了 1.91 亿美元（43.6 亿克朗）。

这是有史以来学习大型语言模型（LLM）所花费的最高金额。OpenAI 的第二个 GPT-4 便宜了 2.5 倍。研究人员从云计算租赁、模型训练时长、硬件使用率以及训练硬件的价值等角度计算了这一价格。据专家称，目前正在开发的模型的成本可能高达数十亿美元。

然而，开发成本的上升并不是开发人员面临的唯一挑战。专家表示，模型学习所依据的书籍、文章和其他文本可能会耗尽。聊天机器人最近取得的成功主要基于这样的事实：这种想象中的燃料足够多。

根据 2022 年研究 优质语言资源可能在 2026 年之前耗尽，相反，根据研究，文本材料将在 2030 年至 2050 年之前，视觉材料将在 2030 年至 2060 年之前，存在低质量资源。然而，Epoch 的研究估计今年之后，优质语言数据已经缺乏。

他们提出了一个解决方案——利用语言模型创建的所谓合成数据来训练语言工具。据斯坦福大学的研究人员称，这不仅可以解决潜在的数据枯竭问题，还可以在自然数据稀缺的领域生成数据。

然而，其他研究表明，即使是这种方法也有其缺点。这种方法的一个问题是，在某个时候，用合成数据训练的 LLM“失去了记住基础数据真实分布的能力，并开始产生范围狭窄的输出”。

换句话说，对合成数据进行训练的代数越多，最终产品的重复性就越多。

除了上述障碍之外，人工智能还面临着道德问题。AutoERP 人工智能专家 David Strejc 解释说：“制定良好的监管和道德规则对于人工智能来说至关重要。我们需要明确的法律来确保人工智能系统透明、可靠、不歧视并且不会伤害人类。它们应该促进公平、责任和正派。”

然而，斯特雷克认为，这些规则不能太具约束力，以免阻碍创新和人工智能技术的积极发展。“找到正确的平衡并不容易。我认为，除了严格的法律外，在科技公司内部直接加强道德原则也同样重要，”斯特雷克说。

“开发人员、数据分析师和其他专业人员必须从一开始就考虑其工作中的道德问题和可能产生的社会影响。公司应该关注这一点，并为此提供必要的资源和教育，”他补充道。