金融界2025年1月24日消息，国家知识产权局信息显示，星环信息科技（上海）股份有限公司申请一项名为“一种模型推理的请求管理方法、装置以及请求管理系统”的专利，公开号CN119336471A，申请日期为2024年10月。
专利摘要显示，本发明公开了一种模型推理的请求管理方法、装置以及请求管理系统。该方法包括：获取模型推理服务的观测指标；根据观测指标进行指标预测，得到预测指标，预测指标包括中央处理器的目标内存利用率和图形处理器的目标显存利用率；根据预测指标确定调度策略，根据调度策略结合请求队列确定调度建议，并将调度建议加入至建议缓冲队列中；在模型推理服务执行请求调度时，从建议缓冲队列中读取调度建议，并根据调度建议结合模型推理服务的调度决策确定目标调度决策，根据目标调度决策控制模型推理服务调度相应的请求执行模型推理，解决了模型推理过程中请求调度不合理的问题，实现资源的高效利用和合理分配。
天眼查资料显示，星环信息科技（上海）股份有限公司，成立于2013年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本12084.2068万人民币，实缴资本6922.1133万人民币。通过天眼查大数据分析，星环信息科技（上海）股份有限公司共对外投资了11家企业，参与招投标项目672次，知识产权方面有商标信息583条，专利信息206条，此外企业还拥有行政许可3个。
本文源自：金融界
