中信建投申请一种针对大模型推理请求的资源调度方法及装置专利,实现优化服务器集群中服务器的计算资源的使用情况

金融界 2025-01-18 11:13:37

金融界2025年1月18日消息,国家知识产权局信息显示,中信建投证券股份有限公司申请一项名为“一种针对大模型推理请求的资源调度方法及装置”的专利,公开号CN119311423A,申请日期为2024年12月。

专利摘要显示,本发明实施例提供了一种针对大模型推理请求的资源调度方法及装置,涉及计算机技术领域,该方法应用于服务器集群中的调度服务器,服务器集群还包括多个目标服务器,每一目标服务器均部署有多个大模型,该方法包括:确定各个目标推理请求以及每一目标推理请求的计算资源需求量;将每一目标推理请求的计算资源需求量、每一目标服务器当前的剩余资源量和每一目标服务器的服务器性能排序,代入目标函数,以确定每一目标推理请求的分配结果;针对每一目标推理请求,将该请求分配至分配结果表征的目标服务器,以使得该目标服务器按照对应计算资源需求量进行资源调度并处理,以实现优化服务器集群中服务器的计算资源的使用情况的目的。

天眼查资料显示,中信建投证券股份有限公司,成立于2005年,位于北京市,是一家以从事资本市场服务为主的企业。企业注册资本775669.4797万人民币,实缴资本775669.4797万人民币。通过天眼查大数据分析,中信建投证券股份有限公司共对外投资了110家企业,参与招投标项目3702次,知识产权方面有商标信息83条,专利信息174条,此外企业还拥有行政许可15个。

本文源自:金融界

0 阅读:0
金融界

金融界

财经媒体、互联网金融、财富管理