3D高斯与光场技术研究与应用研讨会成功举办

中景财事 2024-09-11 11:48:55

近日,由中国图象图形学学会主办,中国图象图形学学会智能图形专委会、凌云光技术股份有限公司、北京元客方舟科技有限公司承办,北京市光场共性技术平台支撑的“3D 高斯与光场技术研究与应用”研讨会在北京首钢园成功举办。

中国图象图形学学会智能图形专委会主任刘永进,北京市科委、中关村管委会科技项目经理人余飞,凌云光高级副总裁杨艺分别发表了致辞。

作为本次大会承办方之一、光场共性技术平台运营单位,凌云光杨艺女士在会上发起成立“光场共性技术平台青年专家组”的倡议,将持续聚焦3D高斯与光场技术理论研究与应用,联合各大科研机构共同开展技术攻关及课题研究,促进学术研究与产业实践深度融合,构建完整的技术创新与应用生态系统。

3D高斯与光场技术作为图形学的重要分支,对提升视觉感知、增强现实、虚拟现实、医学影像等多个领域具有重大意义。本次研讨会邀请了中国图象图形学学会、清华大学、中国科学院、北京理工大学、中国科学院等单位相关专家、学者,共同围绕3D高斯(3D Gaussian Splatting, 3DGS)技术机理、潜力、优化、应用方向及重大成果进行了详细介绍。

专题一

3D高斯基础理论与研究综述

清华大学信息国家研究中心副研究员于涛以《神经渲染:NeRF与3DGS》为主题,分享了NeRF和3DGS各自独特的应用领域和优势。NeRF在创建逼真的视觉效果和处理复杂场景方面表现出色,而3DGS在实时性、灵活性、直观性等方面更具优势。

中国科学院计算技术研究所研究员、博士生导师高林以《高斯泼溅与神经辐射场研究进展》为主题,分享了高斯泼溅和神经辐射场等新型的几何表征,并探讨这几种几何表征各自的优劣,介绍了可以进行实时大尺度真实感变形建模的高斯网新型表征方法,复杂透明材质和拓扑结构的重建,基于高斯泼溅的材质编辑方法以及基于线稿交互的几何模型生成方法。

专题二

3D高斯深度研究与演化

清华大学长聘教授刘永进分享了《基于3DGS的弱光环境下实时新视角渲染》主题报告。在弱光环境中拍摄的图像会表现出相当大的亮度变化和多视图不一致性,可以通过采用一组各向异性的3D高斯函数来表示物理世界的一致辐射场,设计一个相机响应模块来补偿多视图的不一致性,再逐步衰减的梯度缩放策略来约束相机附近的高斯以减少伪影。这种使用一致的多视图图像作为输入,采用Gaussian-DK进行高质量的渲染,可以消除重影和漂浮物伪影,从而完成新视图合成任务。

清华大学长聘教授刘烨斌以《动态场景3D高斯重建与生成》为主题,分享了其在数字化身生成方面的一系列工作。他首先介绍了基于NeRF的相关工作,引入具有更高渲染质量和更快渲染速度的3D高斯点云渲染新方法。围绕Gaussian Splating在3D场景表达和渲染的优势,刘烨斌教授重点阐述了其近期在动态场景实时重建与视点绘制、基于图像大模型的3D人像视频生成技术、全息数字人重建与生成技术的研究工作。

南京大学准聘副教授、博士生导师姚遥分享了《高真实感点云可渲染算法与框架》主题报告。他表示,传统的三维重建方法通常包括摄影测量、相机姿态重建、点云生成和网格构建,而随着神经辐射场技术的出现,多视角图像可以直接用于优化并生成高质量的三维模型,从而大大简化了整个流程。尽管神经辐射场技术发展迅猛,传统方法在几何精度上依然具备显著优势。

专题三

光场数据与3D高斯结合及应用

元客光场PDT经理刘博文分享了《光场产品线与3DGS的过去、现在、未来》主题报告。过去,公司与清华大学、南京大学等知名高校合作,成功研制了多套多视角立体视觉系统(MVS),为光场技术的发展奠定了基础。现在,依托北京市光场共性技术平台,研发多套光度立体视觉系统(Photometric Stereo),在数据解算维度、精度等方面具有明显优势,以大型7D光场采集系统为例,该系统在球面LED密度和照度指标方面均达到了世界领先水平。未来,公司计划将光场数据与3DGS技术深度结合,推动数字人、场景重建与渲染等领域的商业应用,形成可落地的解决方案。

大型7D光场采集系统

圆桌讨论

圆桌论坛环节由元客副总经理兼研发中心总监杜华主持,邀请清华大学教授刘烨斌、南京大学教授曹汛、北京理工大学光电学院研究员翁冬冬、中国科学院计算技术研究所研究员高林、清华大学信息国家研究中心副研究员于涛、南京大学准聘副教授姚遥,围绕“3D高斯研究与应用方向”展开探讨,并形成以下观点:

数据作为AI的三驾马车之一,其中3D的数据以及更多维的光场数据,在数据量、开放性上都是远远不够的,需学界、产业界携手共创。

质量、速度、编辑性的优化,是3DGS持续研究的方向,而如何从多视点图像中解耦几何、纹理、光照是重点难题。

3DGS渲染结果“给人看的效果很好”,可是其几何测量精度并不比传统MVS方法更高,因此传统方法还会一直存在,但如果将3DGS的优势应用到传统MVS方法上,也许能擦除新的火花。

3DGS的渲染性能、对人物头发的表达相比传统方法更具优势,且并不需要传统CG管线做出太大修改即可接入,可以预计将大幅推进3D数字人、空间视频应用落地。

对于C端3D显示生态,目前面临的1个大的挑战和不确定性是立体视频至今都未大规模的普及,对于AR/VR等需要6Dof显示的设备普及还有多远?

谁先找到应用落地至关重要,如果说3DGS是图形学领域是一把屠龙刀,那应用就是磨刀石,如果没有应用打磨,那3DGS就不可能成为产业“利器”。

清华大学信息国家研究中心助理研究员王玉旺,北京交通大学博士、高聘副教授温玉辉,浙江工商大学副研究员左智文,浙江工商大学讲师阮正森,元客总经理熊伟等出席了本次会议。

0 阅读:0

中景财事

简介:感谢大家的关注