金融界2024年12月26日消息，国家知识产权局信息显示，成都赛力斯科技有限公司申请一项名为“大模型服务调用方法、装置和计算机设备”的专利，公开号CN119179593A，申请日期为2024年11月。
专利摘要显示，本申请涉及一种大模型服务调用方法、装置和计算机设备。所述方法包括：响应于针对大模型服务实例发起的当前服务调用请求，获取大模型请求队列中包含的服务调用请求的请求数量，在请求数量未达到预设请求阈值的情况下，将当前服务调用请求添加进大模型请求队列，最后通过预设的调度器基于大模型请求队列中包含的各服务调用请求对应的大模型服务实例的实时请求数，获取目标大模型服务实例，最终调用该目标大模型服务实例。通过设置大模型请求队列，有效控制了当下后端系统处理的请求量，进而避免了由于请求量过大而出现的系统服务过载的问题，提高了系统的可行性和高可用性。
本文源自：金融界
