金融界2025年1月18日消息，国家知识产权局信息显示，中国工商银行股份有限公司申请一项名为“语言模型预训练方法、装置、设备及存储介质”的专利，公开号CN119312087A，申请日期为2023年11月。
专利摘要显示，本公开提供了一种语言模型预训练方法、装置、设备及存储介质，可以应用于人工智能领域和金融科技领域。该方法包括：将企业语料样本中的样本词数据与多个初始附加数据元组各自包括的附加词数据分别进行匹配，得到与企业语料样本对应的目标附加词数据，其中，初始附加数据元组包括附加词数据和与附加词数据对应的释义向量；将企业语料样本进行向量化，得到样本向量；将样本向量与目标附加词数据对应的释义向量进行相似度计算，得到目标附加数据元组；将样本向量与目标附加数据元组各自包括的释义向量分别进行融合，得到目标样本向量；基于与企业语料样本对应的目标样本向量对语言模型进行预训练，得到经预训练的语言模型。
天眼查资料显示，中国工商银行股份有限公司，成立于1985年，位于北京市，是一家以从事货币金融服务为主的企业。企业注册资本35640625.7089万人民币，实缴资本24800000万人民币。通过天眼查大数据分析，中国工商银行股份有限公司共对外投资了30家企业，参与招投标项目5000次，知识产权方面有商标信息953条，专利信息5000条，此外企业还拥有行政许可74个。
本文源自：金融界
