MetaAI推出LIGER混合检索AI模型,计算效率与推荐精度兼得

IT之家 2025-01-02 15:28:17

IT之家1月2日消息,MetaAI的研究人员提出了一种名为LIGER的新型AI模型,巧妙地结合密集检索和生成检索的优势,显著提升了生成式推荐系统的性能。

LIGER有效地解决了传统推荐系统在计算资源、存储需求和冷启动项目处理上的难题,为构建更高效、更精准的推荐系统提供了新的思路。

项目背景

想要把用户与相关内容、产品或服务联系起来,推荐系统是其中重要一环。该领域的常规方法是密集检索(Denseretrieval),利用序列建模来计算项目和用户表示。

但这种方法由于要嵌入每个项目,因此需要大量的计算资源和存储。随着数据集的增长,这些要求变得越来越繁重,限制了它们的可扩展性。

而另一种新兴的方法叫做生成检索(Generativeretrieval),通过生成模型预测项目索引来减少存储需求,但该方式存在性能问题,在冷启动项目(用户交互有限的新项目)中表现尤为明显。

项目介绍

MetaAI公司联合威斯康星大学麦迪逊分校、ELLISUnit、LITAILab、机器学习研究所、JKULinz等机构,混合密集检索和生成检索,推出了LIGER(LeveragIngdenseretrievalforGEnerativeRetrieval)模型。

该模型混合了生成检索的计算效率和密集检索的精度,利用生成检索生成候选集、语义ID和文本属性的项目表示,再通过密集检索技术进行精练,平衡了效率和准确性。

LIGER采用双向Transformer编码器和生成解码器。密集检索部分整合了项目文本表示、语义ID和位置嵌入,并使用余弦相似度损失进行优化。生成部分使用波束搜索根据用户交互历史预测后续项目的语义ID。

通过这种混合推理过程,LIGER降低了计算需求,同时保持了推荐质量。LIGER还能很好地泛化到未见过的项目,解决了先前生成模型的关键限制。

LIGER性能

在AmazonBeauty、Sports、Toys和Steam等基准数据集上的评估显示,LIGER的性能持续优于TIGER和UniSRec等现有最先进模型。

例如,在AmazonBeauty数据集上,LIGER对冷启动项目的Recall@10得分为0.1008,而TIGER为0.0。在Steam数据集上,LIGER的Recall@10达到了0.0147,同样优于TIGER的0.0。

随着生成方法检索的候选数量增加,LIGER与密集检索的性能差距缩小,展现了其适应性和效率。

IT之家附上参考地址

0 阅读:34