世界上最强大的开源人工智能模型 DBRX 的创建过程

上周一,数据科学和人工智能公司的大约十几名工程师和高管 数据块 聚集在通过 Zoom 连接的会议室中,了解他们是否成功构建了一个顶级平台 人工智能 语言模型。 该团队花费了数月时间和大约 1000 万美元来训练 DBRX,这是一个 大语言模型 设计与后面的相似 OpenAI 的 ChatGPT。 但在最终的能力测试结果出来之前,他们不会知道自己的创造物有多强大。

“我们已经超越了一切,”Databricks 首席神经网络架构师兼 DBRX 构建团队负责人 Jonathan Frankle 最终告诉团队,团队以欢呼、欢呼和掌声表情回应。 弗兰克尔通常会避开咖啡因,但在通宵写下结果后,他会喝几口冰拿铁。

Databricks 将在开源许可下发布 DBRX,允许其他人在其工作基础上进行构建。 Frankle 分享的数据显示,在衡量人工智能模型回答一般知识问题、执行阅读理解、解决令人烦恼的逻辑难题和生成高质量代码的能力的大约十几个基准测试中,DBRX 优于其他模型 可用的开源模型

人工智能决策者:Jonathan Frankle、Naveen Rao、Ali Ghodsi 和 Hanlin Tang。摄影:加布里埃拉·哈斯本

它一枝独秀 梅塔的羊驼 2 和米斯特拉尔的混合,两个最受欢迎的 开源人工智能模型 今天可用。 “是的!” 当分数出现时,Databricks 首席执行官 Ali Ghodsi 喊道。 “等等,我们打败了埃隆的东西吗?” Frankle 回复称他们确实超越了 Grok AI 模型 最近由马斯克的 xAI 开源,并补充道,“如果我们收到他的一条刻薄的推文,我将认为这是成功的。”

令团队惊讶的是,DBRX 在多个分数上也非常接近 GPT-4,GPT-4 是 OpenAI 的封闭模型,为 ChatGPT 提供支持,并被广泛认为是机器智能的巅峰。 “我们为开源法学硕士设定了新的技术水平,”弗兰克尔咧着嘴笑道。

建筑模块

通过开源,DBRX Databricks 为一场挑战当前生成式人工智能热潮中最著名公司秘密做法的运动增添了更多动力。 OpenAI 和 Google 严格控制其 GPT-4 和 Gemini 大型语言模型的代码,但一些竞争对手, 尤其是元,已经发布了他们的模型供其他人使用,认为它将通过将技术交给更多研究人员、企业家、初创公司和老牌企业来刺激创新。

Databricks 表示,它还希望公开创建其开源模型所涉及的工作,而 Meta 尚未公开有关创建其开源模型的一些关键细节。 拨打2型号。 该公司将发布一篇博客文章,详细介绍创建该模型所涉及的工作,并邀请 WIRED 与 Databricks 工程师一起度过,因为他们在耗资数百万美元的 DBRX 训练过程的最后阶段做出了关键决策。 这让我们看到了构建领先的人工智能模型是多么复杂和具有挑战性,同时也让我们看到了该领域最新的创新如何有望降低成本。 再加上 DBRX 等开源模型的可用性,表明人工智能的发展不会很快放缓。

阿里·法哈迪,首席执行官 艾伦人工智能研究所,表示迫切需要提高人工智能模型构建和训练的透明度。 近年来,随着公司寻求超越竞争对手的优势,该领域变得越来越神秘。 他表示,当人们担心先进人工智能模型可能带来的风险时,不透明性就显得尤为重要。 “我很高兴看到在开放方面所做的任何努力,”法哈迪说。 “我确实相信很大一部分市场将转向开放模式。 我们需要更多这样的东西。”

Leave a Reply

Your email address will not be published. Required fields are marked *

近期新闻​

编辑精选​