“我们的模型受到人类评分者的青睐”：苹果的基础模型如何超越老牌竞争对手——设备或服务器的响应表明苹果已经具备竞争力

Apple Intelligence 可能是今年 WWDC 的亮点，它与 iOS 18、iPadOS 18 和 macOS Sequoia 紧密集成，并包含专门用于日常任务（如写作、文本细化、总结通知、创建图像和自动化应用程序交互）的高级生成模型。

该系统包括一个 30 亿参数的设备语言模型和一个更大的基于服务器的模型，后者通过私有云计算 (PCC) 在 Apple 硅片服务器上运行。Apple 表示，这些基础模型以及 Xcode 的编码模型和用于视觉表达的传播模型可满足广泛的用户和开发者需求。

该公司还遵守负责任的人工智能原则，确保工具能够赋予用户权力、代表不同的社区，并通过设备处理和安全的 PCC 保护隐私。苹果表示，其模型是在获得许可和公开可用的数据上进行训练的，并使用过滤器来删除个人信息和低质量内容。该公司采用混合数据策略，结合人工注释和合成数据，并使用新算法进行训练后改进。

人工评分员

对于推理性能，苹果表示，它使用分组查询注意、低位托盘化和动态适配器等技术优化了其模型。设备上的模型使用 49K 词汇量，而服务器模型使用 100K，支持更多语言和技术令牌。据苹果称，设备上的模型实现了每秒 30 个令牌的生成率，并通过令牌推测进一步增强。

适配器是小型神经网络模块，用于针对特定任务微调模型，在维护基本模型参数的同时专门针对目标特征。这些适配器是动态加载的，可确保高效的内存使用和响应能力。

这家总部位于库比蒂诺的科技巨头坚持认为，安全性和实用性是 Apple Intelligence 的重中之重，该公司通过人工评估来评估其模型，重点关注各个类别的真实提示。该公司声称，其设备上的模型优于 Phi-3-mini 和 Mistral-7B 等大型竞争对手，而服务器模型可与 DBRX-Instruct 和 GPT-3.5-Turbo 相媲美。苹果公司声称，在几个基准测试中，人类评分者更喜欢他们的模型而不是老牌竞争对手，这凸显了这一竞争优势，其中一些基准测试可以在下面查看。