谷歌将 Gemini Nano 引入 Chrome，以支持设备上的生成式人工智能
在 Google I/O 2024 开发者大会上，Google 宣布正在努力打造 支持设备上的大语言模型 通过将最小的 Gemini 型号 Gemini Nano 引入 Chrome，这一梦想成为现实。 Chrome 开发人员 Kenji Baheux 和 Alexandra Klepper 表示，生成式人工智能需要使用比平均网页大小大约一千倍的大型模型，大小从几十兆字节到几百兆字节不等。 虽然这使得在设备上本地部署和运行 AI 模型变得相当困难，但这样做的好处是多方面的，包括更好地保护敏感数据的隐私，这些数据无需离开用户的设备；减少延迟以改善用户体验；离线访问 AI 功能并在远程模型不可用时优雅地回退；以及混合计算方法的可能性，您可以在设备上运行一些 AI 作为预览或降低频繁用户流的远程推理成本。 为了规避模型尺寸和交付问题，Chrome 工程师 开发网络平台 API 和浏览器功能，旨在将包括大型语言模型 (LLM) 在内的 AI 模型直接集成到浏览器中。其中包括 Gemini Nano，这是 Gemini 系列 LLM 中最高效的版本，旨在在大多数现代台式机和笔记本电脑上本地运行。 这种方法还有其他好处，包括易于部署，因为浏览器可以为手头的设备分发正确的模型并自动更新；此外，浏览器可以根据可用的硬件使用 GPU、NPU 或回退到 CPU。 为了使这一切成为可能，Chrome 开发人员创建了一个特定的基础设施来访问设备上的基础模型和专家模型。 该基础设施目前正用于为 帮我写 实验功能，旨在帮助用户使用 Gemini 模型开始编写或改进现有文本。 […]