金融界2025年1月8日消息，国家知识产权局信息显示，北京金山云网络技术有限公司申请一项名为“推理计算方法和装置、电子设备和存储介质”的专利，公开号CN119250204A，申请日期为2024年9月。
专利摘要显示，本申请提供了一种推理计算方法和装置、电子设备和存储介质，其中，该方法包括：获取待通过大语言模型推理的目标文本；对所述目标文本进行预处理，得到所述目标文本中的所有第一token；通过限定所需加载的最近处理的N个第二token中每个第二token的参数以及对所述大语言模型的前馈神经网络层的行列数据进行统一存储后得到的目标数据加载策略，从存储有所述大语言模型的持久化存储介质中加载到用于推理的目标参数，其中，所述第二token包括所述第一token和/或基于所述第一token推理得到的token；通过所述目标参数对所述整数ID进行推理计算，完成对新第二token的推理。通过本申请，解决了相关技术中存在的数据传输成本高以及推理速度慢的问题。
天眼查资料显示，北京金山云网络技术有限公司，成立于2011年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本20000万人民币，实缴资本20000万人民币。通过天眼查大数据分析，北京金山云网络技术有限公司共对外投资了13家企业，参与招投标项目856次，知识产权方面有商标信息3条，专利信息2604条，此外企业还拥有行政许可10个。
本文源自：金融界
