金融界2025年1月8日消息，国家知识产权局信息显示，杭州同顺传媒科技有限公司申请一项名为“一种模型推理方法、系统、设备及计算机可读存储介质”的专利，公开号CN119250210A，申请日期为2024年12月。
专利摘要显示，本申请公开了一种模型推理方法、系统、设备及计算机可读存储介质，涉及人工智能技术领域，确定大语言模型中的各个中间层；筛选出满足跳过条件的中间层作为候选层；生成大语言模型跳过候选层进行推理的推理信息；根据推理信息，从候选层中筛选出目标层；获取待处理文本；将待处理文本输入跳过目标层的大语言模型，得到候选序列；将待处理文本和候选序列输入大语言模型，得到目标推理结果。本申请使得目标层能够与大语言模型进行推理的推理信息相适配，提高了大语言模型的推理准确度；且实现了借助大语言模型自身来进行投机采样，无需引入其他模型，易于实施，从而提高了大语言模型的推理速度。
天眼查资料显示，杭州同顺传媒科技有限公司，成立于2016年，位于杭州市，是一家以从事专业技术服务业为主的企业。企业注册资本100万人民币，实缴资本100万人民币。通过天眼查大数据分析，杭州同顺传媒科技有限公司参与招投标项目13次，专利信息2条，此外企业还拥有行政许可7个。
本文源自：金融界
