Meta 的开源 Llama 3 已经紧追 OpenAI

Jerome Pesenti 有几个理由庆祝 Meta 上周决定发布 Llama 3，这是一个强大的开源大型语言模型，任何人都可以下载、运行和构建。

Pesenti 曾担任 Meta 人工智能副总裁，他表示，他经常推动该公司考虑发布其技术供其他人使用和构建。 但他感到高兴的主要原因是，他的新初创公司将获得一个人工智能模型，他说该模型的功能与 OpenAI 业界领先的文本生成器 GPT-4 非常接近，但运行成本要低得多，并且更容易接受外部审查和修改。

“上周五的发布确实感觉就像是游戏规则的改变者，”佩森蒂说。 他的新公司， 嘶嘶声是一位人工智能导师，目前使用 GPT-4 和其他封闭式和开放式的人工智能模型来为学生设计问题集和课程。 他的工程师正在评估 Llama 3 是否可以在很多情况下取代 OpenAI 的模型。

Sizzle 的故事可能预示着人工智能领域力量平衡将发生更广泛的转变。 OpenAI 通过 ChatGPT 改变了世界，掀起了人工智能投资热潮，并吸引了超过 200 万开发者使用其云 API。 但如果开源模型证明具有竞争力，开发人员和企业家可能会决定停止付费访问 OpenAI 或 Google 的最新模型，并使用 Llama 3 或其他不断涌现的日益强大的开源模型之一。

“这将是一场有趣的赛马比赛，”Pesenti 在谈到 Llama 3 等开放模型与 GPT-4 和 Google Gemini 等封闭模型之间的竞争时说道。

Meta 之前的模型 Llama 2 已经很有影响力，但该公司表示，它通过向其提供大量更高质量的训练数据，并开发了新技术来过滤掉冗余或乱码内容并选择最佳内容，从而使最新版本变得更加强大。要使用的数据集的混合。

Pesenti 表示，Llama 3 在云平台上运行，例如 烟花.ai 成本仅为通过 API 访问 GPT-4 成本的二十分之一。 他补充说，Llama 3 可以配置为非常快速地响应查询，这是像他这样依赖利用不同提供商的模型的公司的开发人员的一个关键考虑因素。 “这是延迟、成本和准确性之间的等式，”他说。

开放模型的下降速度似乎令人印象深刻。 几周前，我走进初创公司 Databricks，亲眼目睹了构建 DBRX 的最后阶段，DBRX 是一种语言模型，曾一度成为最好的开放语言模型。 那个王冠现在是 Llama 3 的了。 Databricks 首席执行官 Ali Ghodsi 也将 Llama 3 描述为“改变游戏规则”，并表示更大的模型“正在接近 GPT 4 的质量，从而在开源和闭源 LLM 之间建立公平的竞争环境。”

Llama 3 还展示了缩小 AI 模型的潜力，因此它们可以在功能较弱的硬件上运行。 Meta 发布了其最新模型的两个版本，一个版本有 700 亿个参数（用于从训练数据中学习的变量的度量），另一个版本有 80 亿个参数。 较小的型号足够紧凑，可以在笔记本电脑上运行，但功能非常强大，至少在《连线》的测试中是这样。

在 Meta 发布前两天， 米斯特拉尔是一家法国人工智能公司，由 Meta 的 Pesenti 团队的校友创立， 开源的 混合 8x22B。 它有 1410 亿个参数，但一次只使用其中 390 亿个参数，这种设计被称为专家混合体。 由于这个技巧，该模型比一些更大的模型的能力要强得多。

Meta 并不是唯一一家发布开源人工智能的科技巨头。 本周微软发布了 Phi-3-迷你 并且苹果发布了 开放ELM，两个小型但功能强大的免费语言模型，可以在智能手机上运行。

未来几个月将展示 Llama 3 和其他开放模型是否真的可以取代一些开发人员的 GPT-4 等高级 AI 模型。 更强大的开源人工智能即将到来。 该公司正在开发 Llama 3 的大型 4000 亿参数版本，首席人工智能科学家 Yann LeCun 表示，该版本应该是世界上最强大的版本之一。

当然，所有这些开放并不纯粹是无私的。 Meta 首席执行官马克·扎克伯格表示开放其人工智能模型 最终应该使公司受益 通过降低其所依赖的技术的成本，例如通过产生 Meta 可以为自己使用的兼容工具和服务。 他没有说，阻止 OpenAI、微软或谷歌主导该领域也可能对 Meta 有利。