金融界2024年12月21日消息，国家知识产权局信息显示，亚信科技（南京）有限公司申请一项名为“一种应用于垂直领域的多模态RAG知识问答方法及装置”的专利，公开号CN119150998A，申请日期为2024年11月。
专利摘要显示，本发明提供一种应用于垂直领域的多模态RAG知识问答方法及装置，涉及人工智能技术领域，本发明支持多模态输入待解答文本，包括文本、图片、音频和视频，充分利用多模态数据的语义信息。利用多个预设检索模型检索待解答文本对应的知识片段，得到多种检索结果。通过RRF算法融合多种检索结果，并用目标重排序模型计算得分进行重排，从而提高了召回率。基于检索内容及预设知识频率信息进步微调排序使其更加精准，符合用户期望。结合大语言模型的自然语言理解能力和目标奖励模型，以及RAG召回的相关信息，生成最优解答数据，同时利用目标打分模型和领域专家知识，提供更专业且符合实际需求的高质量解答数据。
本文源自：金融界
