矢量数据库公司 Qdrant 希望 RAG 更具成本效益

不要错过 VentureBeat Transform 2024 上 OpenAI、Chevron、Nvidia、Kaiser Permanente 和 Capital One 的领导者。在这场为期三天的独家活动中,获取有关 GenAI 的重要见解并扩展您的网络。 了解更多


越来越多的公司希望将检索增强生成 (RAG) 系统纳入其技术堆栈,并且改进它的新方法也正在浮出水面。

矢量数据库公司 奎德兰特 相信其新搜索算法 BM42 将使 RAG 更加高效且更具成本效益。

Qdrant 成立于 2021 年,开发了 BM42,为致力于新搜索方法的公司提供向量。该公司希望为客户提供更多混合搜索,即结合语义和关键字搜索。

Qdrant 联合创始人兼首席技术官 Andrey Vasnetsov 在接受采访时表示 创业节拍 BM42 是对算法 BM25 的更新,传统搜索平台使用该算法对搜索查询中的文档相关性进行排名。RAG 通常使用矢量数据库或将数据存储为数学指标的数据库,以便于匹配数据。


VB Transform 2024 倒计时

7 月 9 日至 11 日,欢迎企业领导者齐聚旧金山,参加我们的旗舰 AI 活动。与同行交流,探索生成式 AI 的机遇和挑战,并了解如何将 AI 应用融入您的行业。 现在注册


“当我们应用传统的关键字匹配算法时,最常用的是 BM25,它假设文档的大小足以计算统计数据,”Vasnetsov 说。“但我们现在使用 RAG 处理大量信息,因此使用 BM25 已经没有意义了。”

Vasnetsov 补充说,BM42 使用语言模型,但该模型不是创建信息的嵌入或表示,而是从文档中提取信息。这些信息成为标记,然后算法对其进行评分或加权,以对其与搜索问题的相关性进行排序。这让 Qdrant 能够精确地找到回答查询所需的确切信息。

混合搜索有很多选择

然而,BM42 并不是第一个试图取代 BM25 以简化杂交研究和 RAG 的方法。Splade 就是这样一种选择,它代表 稀疏词汇和扩展模型

虽然其他矢量数据库公司也使用 Splade,但 Vasnetsov 表示 BM42 是一种更具成本效益的解决方案。“Splade 可能非常昂贵,因为这些模型往往非常庞大,需要大量计算。所以它仍然很昂贵,而且速度很慢,”他说。

RAG 正迅速成为企业 AI 领域最热门的话题之一,因为企业希望找到一种方法来使用生成式 AI 模型并将其映射到自己的数据中。RAG 可以将公司数据中更准确、更实时的信息带给员工和其他用户。

微软等公司亚马逊现在提供 云计算客户构建 RAG 应用程序所需的基础设施。6 月份, OpenAI 收购 Rockset 以增强其 RAG 能力。

但是,虽然 RAG 可以让用户将 AI 模型读取的信息与公司数据联系起来,但它仍然是一个语言模型, 容易出现幻觉

2024-07-02 14:31:30 1719935086

Leave a Reply

Your email address will not be published. Required fields are marked *

近期新闻​

编辑精选​