金融界2025年1月28日消息，国家知识产权局信息显示，北京火山引擎科技有限公司申请一项名为“针对语言模型的性能评估的方法和装置、设备、介质和产品”的专利，公开号CN119358686A，申请日期为2024年12月。
专利摘要显示，公开了针对语言模型的性能评估的方法和装置、设备、介质和产品，涉及数据处理技术、大模型技术、大语言模型技术领域。该方法包括针对每个问题，通过语言模型获取问题的多个预测答案，该多个预测答案各自具有不同的答案形式。该方法还包括获取针对问题的多个真值答案，该多个真值答案各自与不同的答案源相对应。该方法还包括基于多个预测答案与多个真值答案之间的比较，获取多个比较结果，该多个比较结果指示多个预测答案与多个真值答案之间的差异性。该方法还包括确定与多个比较结果相对应的多个比较得分，并且基于多个比较得分来确定语言模型的性能得分，该性能得分指示语言模型的问答性能。如此，能够改进性能评估的覆盖面，并且促进模型调优。
天眼查资料显示，北京火山引擎科技有限公司，成立于2020年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本100000万人民币，实缴资本35000万人民币。通过天眼查大数据分析，北京火山引擎科技有限公司共对外投资了5家企业，参与招投标项目334次，专利信息877条，此外企业还拥有行政许可8个。
本文源自：金融界
