发现新的 Google Gemini 内容操纵漏洞 – 攻击者可以控制用户的查询和 LLM 数据输出 – 导致严重的滥用
Google Gemini 发现内容和使用安全风险：LLM 提示泄露、越狱和间接注入。 POC 和 Deep Dive 表明 Gemini 的 图像生成只是其问题之一。 概述 Gemini 是 Google 最新的大型语言模型 (LLM) 系列。 Gemini 套件目前包含 3 种不同的型号尺寸：Nano、Pro 和 Ultra。 尽管 Gemini 已因政治偏见内容而被从服务中删除，但 HiddenLayer 的调查结果分析了攻击者如何直接操纵其他用户的查询和输出，这代表了一种全新的威胁。 在测试 Google Gemini 系列模型中的 3 个 LLM 时，我们发现了多个即时黑客漏洞，包括输出有关选举的错误信息的能力、导致系统即时泄漏的多种途径，以及通过延迟有效负载间接注入模型的能力谷歌云端硬盘。 谁应该了解 Google Gemini 漏洞： 公众：Gemini 和其他法学硕士产生的错误信息可能会被用来误导人民和政府。 使用 Gemini API 的开发人员： 系统提示可能会被泄露，从而揭示使用 LLM 的程序的内部工作原理，并可能导致更有针对性的攻击。 双子座高级用户： 通过 Google Workspace […]
Cloudflare 正在添加防火墙以帮助确保您的 LLM 安全
为了提高人工智能应用程序的安全性，Cloudflare 推出了其 防火墙 针对 AI – 旨在减少和防止针对大型语言模型 (LLM) 的攻击的新保护层。 法学硕士在解释人类语言和其他复杂数据方面发挥着重要作用，并且可以接受数十亿个参数的训练，但就像任何其他数字资产一样，威胁行为者一直在寻求利用漏洞。 Cloudflare 表示，随着 AI 的全面发展，其 AI 防火墙正值主动安全措施迅速变得至关重要之际。 Cloudflare 希望确保 LLM 级别的 AI 安全 该公司的公告引用了最近的一项研究，显示只有四分之一的首席高管对其组织应对人工智能风险的准备就绪充满信心。 然而，在解决他们的担忧时，Cloudflare 表示，保护 LLM 本身也存在挑战，因为尽管它们容易受到篡改、攻击和滥用，但在不妨碍用户交互的情况下很难应用足够的保护。 Cloudflare 首席执行官 Matthew Prince 强调了解决新兴人工智能威胁的重要性：“当新型应用程序出现时，新型威胁也会迅速跟进。 这对于人工智能驱动的应用程序来说没有什么不同。” 该公司的新人工智能防火墙将为安全团队配备新工具，以有效保护其法学硕士应用程序，包括快速威胁检测和自动阻止威胁，而无需人工干预。 尽管取得了令人鼓舞的进展，但 Cloudflare 似乎认为这只是多方面方法中的一个支柱，并引用 Gartner 的一份声明：“您无法孤立地保护 GenAI 应用程序的安全。 在规划和部署 GenAI 特定的安全控制之前，始终从云安全、数据安全和应用程序安全的坚实基础开始。” 该服务将免费向在 Cloudflare Worker AI 平台上使用法学硕士的客户提供。 TechRadar Pro 的更多内容 1709640361 #Cloudflare #正在添加防火墙以帮助确保您的 […]
大型语言模型 (LLM) 和向量数据库
大卫·布兰克-埃德尔曼 和我们的扶手椅建筑师 乌利·霍曼 和 埃里克·查兰 将专注于大型语言模型（LLM）和 矢量数据库 以及它们在推动人工智能、机器学习和法学硕士方面的作用。 什么是矢量数据库？ Eric 将向量数据库定义为一种存储有关数据多维方面的有意义信息的方式，例如所谓的向量，它们是数值的，通常是数值整数，其工作方式非常类似于传统的关系数据库系统。 矢量数据库的有趣之处在于它们可以帮助我们解决不同类型的查询。 一种类型的查询类似于“最近邻居”。 例如，如果 Spotify 知道 Eric Charran 喜欢 Def Leppard 并且他喜欢这一首歌，那么根据 Spotify 可能拥有的多个维度，有哪些非常非常相似的最接近的其他歌曲，以便它可以推荐这首其他歌曲歌曲。 它的工作原理是，它只是使用向量之间的数字距离来找出该问题的答案。 Uli 补充说，人工智能背景下的矢量数据库正在有效地使用文本，并将文本转换为这些数字表示。 例如，如果您进入 PostgreSQL 社区，PostgreSQL 团队已经在 PostgreSQL 中添加了一个插件，您可以在其中获取任何文本字段，将其转换为向量，然后您可以将该向量嵌入到 LLM 中。 向量已经存在很长时间了，因为它是神经网络模型的一部分，归根结底，这些也是向量。 现在这是特定于数据的，因为它不仅仅是数据库，虽然数据库将会流行，但您会看到搜索系统也将其搜索索引公开为向量。 Azure 认知搜索 例如，Uli 认为其他搜索系统也能做到这一点。 您可以采用该索引并将其作为 OpenAI 系统或 Bard 或任何您喜欢的 AI 系统的一部分。 矢量数据库是实现人工智能系统的一种方法，另一种方法是嵌入。 矢量数据库和自然语言处理 (NLP) 让我们看看向量数据库如何在现实世界和 NLP 中使用，其中使用了嵌入。 例如，采用单词嵌入、句子嵌入，使它们成为特定的整数基，这样法学硕士实际上可以将它们包含在用于训练它的信息语料库中。 […]
使用 Go 中的 LLM 将 AWS Lambda 转换为 Azure 函数
使用 Go 中的 LLM 将 AWS Lambda 转换为 Azure 函数 本文的目的是展示一些可用于使用 LLM 将 AWS Lambda 函数转换为 Azure 函数的策略。 免责声明： 本文是关于应用 LLM 将 AWS Lambda 函数转换为 Azure Functions 的实验性实现。 它并非旨在作为该过程的明确指南，也不保证成功转换。 结果取决于您打算转换的具体代码以及您正在使用的法学硕士。 将 Lambda 函数转换为 Azure 函数需要什么？ 使用 Lambda 函数需要考虑以下几点： 1. 与 Azure Functions 不同，AWS Lambda 函数不使用绑定。 2. 入口点中的输入对象作为 json 格式对象在入口处理程序中接收。 3. 由于不存在输出绑定，因此 Lambda 中的所有输出均通过使用 AWS 开发工具包进行处理。 […]
Azure 中 LLM 应用程序的安全最佳实践
GenAI 应用程序是那些使用大型语言模型 (LLM) 生成自然语言文本或执行自然语言理解任务的应用程序。 LLM 是强大的工具，可以实现各种场景，例如内容创建、摘要、翻译、问答和对话代理。 然而，LLM 也带来了重大的安全挑战，需要 GenAI 应用程序的开发人员和管理员来解决。 这些挑战包括： 保护用于培训和查询法学硕士的数据的机密性和完整性 确保法学硕士及其服务的可用性和可靠性 防止恶意行为者或非预期用户误用或滥用法学硕士 监控和审核法学硕士的产出和行为的质量、准确性和合规性 管理法学硕士成果和影响的道德和社会影响 本文档概述了 Azure 中 GenAI 应用程序的安全最佳实践，重点关注 Azure OpenAI，但也描述了与可在 Azure 内部使用的其他 LLM 相关的安全性。 Azure OpenAI 是一项基于云的服务，允许用户访问 OpenAI 的 GPT-3 模型并与之交互，该模型是当今最先进的法学硕士之一。 其他可在 Azure 内部使用的 LLM 包括 Microsoft 的认知服务，例如文本分析、翻译器和 QnA Maker，以及可使用 Azure 机器学习构建和部署的自定义 LLM。 Azure OpenAI 的数据存储和处理方法建立在强大、安全的基础之上。 用户数据受到保护，防止未经授权的访问，确保隐私和安全符合 Microsoft 的数据保护标准。 至于数据的使用，原理很简单。 您提供的输入以及人工智能响应（您的数据）仍然属于您。 微软不会使用这些数据来改进自己的人工智能产品。 […]