多模式嵌入如何提升 eBay 的产品推荐
介绍 eBay 致力于为其客户提供无缝且愉快的购买体验。 我们不断寻求改进的一个领域是列表的质量，特别是在图像和文本方面。 过去，低质量图像的存在可能会导致产品展示不准确，在最坏的情况下，还会导致买家失望。 此外，分别从列表标题和图像导出的文本和图像嵌入存储在不同的空间中，这使得创建统一且准确的推荐系统具有挑战性。 eBay 的深度学习模型无法有效地处理这两种类型的信息。 为了应对这些挑战，我们通过将不同的模式和定制模块（包括图像文本不匹配检测和 TransH 的三元组丢失）集成到召回模块中，创建了一个新的上下文推荐系统。 我们的方法使 eBay 的推荐系统能够提供高度准确的推荐，并将买家参与度提高约 15%。 信息检索：eBay推荐系统中的召回模块 召回模块是 eBay 推荐系统的重要组成部分。 其主要功能是从各个角度检索与查看项目页面上的主列表最相关的一组项目。 召回模块是推荐过程的第一步，它在确保商品对用户来说是最合适、最相关和最高质量方面发挥着关键作用。 过去，推荐系统中的召回模块主要依赖于单一模态的信息，例如项目标题和项目图像。 虽然这种方法被证明对于检索相关结果很有用，但它也有其局限性。 单模态方法缺乏来自其他模态的信号，这使得很难为更复杂的场景提供准确的建议，例如区分玩具车和真车。 通过集成项目的多模态信息，我们开发了高性能的召回模块，可以显着提高推荐系统针对更复杂场景的准确性。 这种创新方法可确保更加相关和个性化的用户体验。 如图 1 所示，仅依靠文本模式来检索相关列表可能会导致推荐系统中包含不那么相关或质量较低的项目。 发生这种情况是因为它们的标题与页面上的英雄项目的相似度很高，但这忽略了封面图像的相关性和质量。 图 1：仅使用文本形式进行回忆可能会导致列表质量较低。 多模式物品嵌入解决方案 为了解决这些问题，我们最近推出了一种新的多模态项目嵌入解决方案，该解决方案现在可以有效地组合来自不同模态的信息以获得丰富的特征信息。 这种集成使团队能够更好地了解 eBay 上的列表，并为推荐系统创建更准确、更高效的召回集。 此外，通过检测列表的图像和标题之间的不匹配，团队可以提供过滤掉低质量结果的机会。 我们的多模式项目嵌入解决方案使用搜索团队的预训练嵌入（文本嵌入 伯特 作为基本模型）和计算机视觉团队（图像嵌入 RESNET-50 作为基本模型）团队。 它包括在机器学习训练平台上训练的连体两塔模型，用于预测两个项目的共同点击概率。 该模型使用 TransH 的三元组损失来确保文本和图像嵌入被投影到相同的嵌入空间中。 标题-图像不匹配检测模块使用不匹配嵌入来预测点击图片和标题不匹配的项目的概率。 图2：连体二塔模型整体模型结构。 在下面的示例中，最后一列中的“嵌入距离”是一个统一的分数，从项目标题和封面图像的角度反映了与种子项目的相似度。 新的统一评分比仅依赖于标题文本的“标题相似度”评分更准确。 图 3：多模式项目嵌入解决方案与纯文本模式方法进行比较的图示。 连体两塔模型 连体双塔模型是一种神经网络架构，它使用两个相同的子网络（或塔）来处理两个不同的输入，通常用于涉及比较或匹配两个输入的任务，例如相似性分析、重复检测和推荐系统。 […]