苏州元脑申请张量拆分结果验证专利,可提高int4量化模型张量并行推理开发效率

金融界 2025-01-28 13:18:09

金融界2025年1月28日消息,国家知识产权局信息显示,苏州元脑智能科技有限公司申请一项名为“张量拆分结果验证方法、装置、计算机设备和存储介质”的专利,公开号CN119357541A,申请日期为2024年9月。

专利摘要显示,本申请涉及一种张量拆分结果验证方法、装置、计算机设备和存储介质,所属领域为计算机技术领域,所述方法包括:基于预设量化位数,对深度学习模型中目标层级的目标权重进行量化处理,得到量化处理结果;对量化处理结果进行压缩处理,并对压缩处理结果进行张量拆分,以生成预设格式的文件;响应于检测到张量拆分结果验证请求时,对预设格式的文件进行解析,得到解析结果;基于解析结果,确定深度学习模型的第一推理结果,并基于第一推理结果和第二推理结果,对张量拆分结果进行验证,第二推理结果为基于未进行权重张量拆分处理的深度学习模型确定的推理结果。本申请可以有效地提高int4量化模型张量并行推理的开发效率。

天眼查资料显示,苏州元脑智能科技有限公司,成立于2018年,位于苏州市,是一家以从事研究和试验发展为主的企业。企业注册资本38500万人民币,实缴资本38500万人民币。通过天眼查大数据分析,苏州元脑智能科技有限公司共对外投资了1家企业,参与招投标项目72次,专利信息5000条,此外企业还拥有行政许可14个。

本文源自:金融界

0 阅读:0
金融界

金融界

财经媒体、互联网金融、财富管理