超越科技申请自注意力网络的动态记忆增强专利,能够更好地捕获跨序列的长期依赖关系

金融界 2024-12-26 15:06:53

金融界2024年12月26日消息,国家知识产权局信息显示,超越科技股份有限公司申请一项名为“一种自注意力网络的动态记忆增强方法、系统、设备及介质”的专利,公开号CN119180307A,申请日期为2024年9月。

专利摘要显示,本发明涉及深度学习的领域,本发明提出了一种自注意力网络的动态记忆增强方法、系统、设备及介质,方法包括:获取待处理的输入序列,并计算输入序列平均值;将所述输入序列平均值结合在预设的记忆矩阵上,得到更新后的记忆矩阵;对所述更新后的记忆矩阵进行转换后融合到输入序列的值中,得到输出序列;将所述输出序列进行输出投影。本发明能够更好地捕获跨序列的长期依赖关系。通过将记忆矩阵整合进因果自我注意机制,模型能够利用更广泛的上下文信息,包括历史数据,从而提高在语言理解和生成任务上的性能。记忆矩阵的动态更新策略能够有效利用有限的计算资源,避免了在长序列处理中常见的梯度消失或爆炸问题,提高了模型的稳定性和效率。

本文源自:金融界

0 阅读:0