周四，Meta 推出了其早期版本 骆驼3 开放权重人工智能模型，可用于支持文本撰写、代码生成或聊天机器人。 它还宣布其 元人工智能助手 就是现在 可在网站上找到 并将被整合到其主要社交媒体应用程序中，从而加强该公司将其产品与其他人工智能助手（如 OpenAI 的 ChatGPT、微软的 Copilot 和谷歌的 Gemini）进行竞争的努力。
和它的前身一样， 骆驼2Llama 3 因是一家大型人工智能公司提供的免费开放权重大型语言模型 (LLM) 而闻名。 从技术上讲，Llama 3 并不具备“开源”的品质，因为该术语有一个 具体含义 在软件中（正如我们在 其他承保范围），并且业界尚未确定 AI 模型发布的术语，这些模型发布的代码或权重有限制（您可以阅读 Llama 3 的许可证 这里）或未提供训练数据的船舶。 我们通常将这些版本称为“开放权重”。
目前，Llama 3 有两种参数大小：80 亿（8B）和 700 亿（70B），这两种参数都可以通过 Meta 网站免费下载。 报名。 Llama 3 有两个版本：预训练（基本上是原始的下一个令牌预测模型）和指令调整（微调以遵循用户指令）。 每个都有 8,192 个令牌上下文限制。
本杰·爱德华兹
Meta 在两个模型上训练了两个模型 定制的 24,000 个 GPU 集群。 在播客采访中 德瓦克什·帕特尔Meta首席执行官马克·扎克伯格表示，该公司用大约15万亿代币的数据训练了70B模型。 在整个过程中，模型从未达到“饱和”（即，它在能力增长方面从未遇到困难）。 最终，Meta 停止了工作并开始训练其他模型。
“我想我们的预测是它会渐近，但即使到最后它仍然倾斜。我们可能可以给它提供更多代币，它会变得更好，”扎克伯格在播客上说。
Meta 还宣布，目前正在训练 Llama 3 的 400B 参数版本，Nvidia 的 Jim Fan 等一些专家认为这可能 在同一联赛中表现 在 GPT-4 Turbo、Claude 3 Opus 和 Gemini Ultra 等基准测试中 MMLU, GP质量保证, 人类评估， 和 数学。
说到基准，我们有 倾注了许多言语 过去到 解释 当应用于大型语言模型时，由于训练污染（即，在训练数据集中包括基准测试问题）、供应商的挑挑拣拣以及无法捕捉人工智能的一般用途等问题，基准测试可能会非常不精确。与聊天调整模型的交互式会话。
但是，正如预期的那样，Meta 为 Llama 3 提供了一些基准，其中列出了以下结果： MMLU （本科水平知识）， GSM-8K （小学数学）， 人类评估 （编码）， GP质量保证 （研究生水平的问题），以及 数学 （数学应用题）。 这些表明 8B 模型与 Google 等开放权重模型相比表现良好 杰玛7B 和 米斯特拉尔7B 指导，70B型号也能抵抗 双子座专业版 1.5 和 克劳德第 3 首十四行诗。
Meta 表示，Llama 3 模型已经增强了理解编码的能力（如 Llama 2），并且首次使用图像和文本进行训练——尽管它目前仅输出文本。 根据 路透社Meta 首席产品官 Chris Cox 在接受采访时指出，Llama 3 的未来更新预计会提供更复杂的处理能力（例如执行多步骤计划），该版本还将支持多模式输出，即文本和图像。
Meta 计划在一系列云平台上托管 Llama 3 模型，以便通过 AWS、Databricks、Google Cloud 和其他主要提供商访问它们。
同样在周四，Meta 宣布 Llama 3 将成为 Meta AI 虚拟助手的新基础，该公司 首先宣布 在九月。 该助手将显着出现在 Facebook、Instagram、WhatsApp、Messenger 和上述搜索功能中 专用网站 其设计类似于 聊天GPT，包括在同一界面中生成图像的能力。 该公司还宣布与谷歌建立合作伙伴关系，将实时搜索结果集成到 Meta AI 助手中，从而增强了与微软 Bing 的现有合作伙伴关系。
2024-04-18 21:04:42
1713496675
