不要错过 VentureBeat Transform 2024 上 OpenAI、Chevron、Nvidia、Kaiser Permanente 和 Capital One 的领导者。在这场为期三天的独家活动中,获取有关 GenAI 的重要见解并扩展您的网络。 了解更多
越来越多的公司希望将检索增强生成 (RAG) 系统纳入其技术堆栈,并且改进它的新方法也正在浮出水面。
矢量数据库公司 奎德兰特 相信其新搜索算法 BM42 将使 RAG 更加高效且更具成本效益。
Qdrant 成立于 2021 年,开发了 BM42,为致力于新搜索方法的公司提供向量。该公司希望为客户提供更多混合搜索,即结合语义和关键字搜索。
Qdrant 联合创始人兼首席技术官 Andrey Vasnetsov 在接受采访时表示 创业节拍 BM42 是对算法 BM25 的更新,传统搜索平台使用该算法对搜索查询中的文档相关性进行排名。RAG 通常使用矢量数据库或将数据存储为数学指标的数据库,以便于匹配数据。
VB Transform 2024 倒计时
7 月 9 日至 11 日,欢迎企业领导者齐聚旧金山,参加我们的旗舰 AI 活动。与同行交流,探索生成式 AI 的机遇和挑战,并了解如何将 AI 应用融入您的行业。 现在注册
“当我们应用传统的关键字匹配算法时,最常用的是 BM25,它假设文档的大小足以计算统计数据,”Vasnetsov 说。“但我们现在使用 RAG 处理大量信息,因此使用 BM25 已经没有意义了。”
Vasnetsov 补充说,BM42 使用语言模型,但该模型不是创建信息的嵌入或表示,而是从文档中提取信息。这些信息成为标记,然后算法对其进行评分或加权,以对其与搜索问题的相关性进行排序。这让 Qdrant 能够精确地找到回答查询所需的确切信息。
混合搜索有很多选择
然而,BM42 并不是第一个试图取代 BM25 以简化杂交研究和 RAG 的方法。Splade 就是这样一种选择,它代表 稀疏词汇和扩展模型。
虽然其他矢量数据库公司也使用 Splade,但 Vasnetsov 表示 BM42 是一种更具成本效益的解决方案。“Splade 可能非常昂贵,因为这些模型往往非常庞大,需要大量计算。所以它仍然很昂贵,而且速度很慢,”他说。
RAG 正迅速成为企业 AI 领域最热门的话题之一,因为企业希望找到一种方法来使用生成式 AI 模型并将其映射到自己的数据中。RAG 可以将公司数据中更准确、更实时的信息带给员工和其他用户。
微软等公司 和 亚马逊现在提供 云计算客户构建 RAG 应用程序所需的基础设施。6 月份, OpenAI 收购 Rockset 以增强其 RAG 能力。
但是,虽然 RAG 可以让用户将 AI 模型读取的信息与公司数据联系起来,但它仍然是一个语言模型, 容易出现幻觉。