更便宜、更好、更快、更强| 米斯特拉尔人工智能
Mixtral 8x22B 是我们最新的开放型号。 它为人工智能社区的性能和效率设立了新标准。 它是一种稀疏专家混合 (SMoE) 模型，仅使用 141B 个活动参数中的 39B 个，在其规模下提供了无与伦比的成本效率。 Mixtral 8x22B 具有以下优点： 这是 精通英语、法语、意大利语、德语和西班牙语 具有很强的数学和编码能力 它本身就能够进行函数调用; 加上 la Plateforme 上实施的受限输出模式，这使得应用程序开发和技术堆栈现代化能够大规模进行 它是 64K 令牌上下文窗口 允许从大型文档中调用精确的信息 真正开放 我们相信开放和广泛分布的力量可以促进人工智能领域的创新和协作。 因此，我们在 Apache 2.0（最宽松的开源许可证）下发布 Mixtral 8x22B，允许任何人在任何地方不受限制地使用该模型。 最佳效率 我们构建的模型提供 各自尺寸无与伦比的成本效率，在社区提供的模型中提供最佳的性价比。 Mixtral 8x22B 是我们开放式型号系列的自然延续。 其稀疏激活模式使其比任何密集的 70B 模型更快，同时比任何其他开放权重模型（在宽松或限制性许可下分发）更强大。 基本模型的可用性使其成为微调用例的绝佳基础。 图 1：性能衡量 (MMLU) 与推理预算权衡（活动参数数量）。 与其他开放型号相比，Mistral 7B、Mixtral 8x7B 和 Mixtral 8x22B 均属于高效型号系列。 无与伦比的开放性能 […]