金融界2025年1月8日消息，国家知识产权局信息显示，中国电信股份有限公司技术创新中心、中国电信股份有限公司申请一项名为“推理优化方法优化装置设备存储介质和程序产品”的专利，公开号CN119250207A，申请日期为2024年10月。
专利摘要显示，本公开提供了一种推理优化方法、优化装置、设备、存储介质和程序产品，涉及机器学习技术领域。其中，模型即服务的推理优化方法包括：响应于接收到的多个用户调用多个微调大模型推理的调用请求，生成第一请求集合和第二请求集合，第一请求集合对应于基础大模型的推理，第二请求集合对应于微调大模型的推理；基于共享冻结参数对第一请求集合进行推理得到第一批处理结果，基于非共享参数对第二请求集合进行推理得到第二批处理结果；合并第一批处理结果和第二批处理结果得到目标结果，将目标结果反馈至多个用户。通过本公开的技术方案，通过使不同租户共享冻结的参数进行推理任务的批处理，减少多租户大模型的GPU内存资源使用量，降低推理成本。
天眼查资料显示，中国电信股份有限公司技术创新中心，成立于2010年，位于北京市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本None。通过天眼查大数据分析，中国电信股份有限公司技术创新中心参与招投标项目79次，专利信息2233条，此外企业还拥有行政许可3个。
本文源自：金融界
