Meta3DGenAI模型亮相,谷歌/微美全息助推深度学习3D...

书南科技 2024-07-05 10:27:32

北京时间7月4日消息,Meta(META.US)对外发布了他们的文生3D模型Meta 3D Gen,给文生3D赛道抛下一颗重磅炸弹。

3D生成技术再进化

据介绍,3D Gen能在1分钟时间里根据文本提示词快速生成3D资产(指制作3D动画的数字化资源),速度是现有其它系统的3-10倍。它还能支持对第三方生成的 3D 内容进行重新纹理生成,帮助创作者实现快速迭代。

Meta还在技术文档中详细介绍了3D Gen背后的技术方法。他们采取了两步走的方式实现3D资产生成:一个名为AssetGen的模型被用于生成基础的3D形状和纹理,另一个名为TextureGen的模型专门用于生成质量更高的纹理,优化AssetGen的生成结果。

支持PBR技术的3D Gen生成的3D形象不仅在处于静态时拥有较高的质量,也能在3D形象移动时保持极高的真实性。这项技术目前已经广泛运用于建筑可视化、游戏、VR/AR、电影特效制作等行业,是创作高质量3D资产的重要方式。

AI 3D生成技术的快速发展对实现3D建模行业的技术进阶有重大意义。人工3D建模费时费力,在游戏和影视作品中运用3D形象在过去是属于少数大型公司的特权,AI 3D生成技术能简化3D建模流程,缩短3D建模时间。

谷歌正加快入局

目前,已有不少行业使用了3D生成技术。比如,谷歌(GOOG.US)团队研发新的研究名为“ChatDirector”,通过在空间感知视频会议环境中为所有与会者提供语音驱动的视觉辅助,增强了传统的基于2D屏幕的视频会议体验。

谷歌称,研究团队开发了一种空间感知视频会议环境,可在3D会议环境中显示远程与会者的3D人像。在每个本地用户的设备上,ChatDirector流式输出(1)音频输入以及由Web Speech API识别的语音文本;(2)RGB图像以及由U-Net神经网络推断的深度图像。

业内专家认为,现有的 3D 技术有多种类型,全息 3D 显示基于光的衍射原理,通过空间光调制器来精确控制光波前上各点的相位和振幅,还原出等同于真实 3D 物体的光波,可以获得最自然的观看体验。

如今,在数实融合的背景下,伴随3D技术的不断完善和产业链的成熟,对企业和组织,让服务变得更可度量,质量更可优化,推动组织效能提升;对社会,让资源利用效率提升,为产业发展模式带来创新,提高政府治理效能,促进社会可持续发展。

微美全息开发深度学习的3D全息图技术

资料显示,全息AR第一股微美全息(WIMI.US)全栈式技术布局,获市场高度认可,通过以全息投影、人工智能、数字孪生、3D显示、大数据等技术融合创新赋能,将真实的3D物体以光学的方式呈现,它可以让人们感觉到物体在空间中的实际存在感,打造出几乎和真人一样的逼真立体感和生动表情,给人一种虚实交错的视觉效果。

眼下,随着3D技术的逐渐成熟,3D计算机生成技术成为人们探索数字化世界的另一种方式。对此,微美全息着手进行在全息3D显示领域进行深度开发,成功开发出基于深度学习的3D计算机生成全息图技术。利用深度学习算法对3D模型进行分析,涵盖了数据准备、模型构建、深度学习模型训练、全息图生成及展示,充分提取出突破深度光学信息。

值得一提,微美全息将全息3D技术带入了量子领域,提供了创建更清晰、更丰富的全息图的新方法,这为该技术的实际应用开辟了新的可能性。展望未来,微美全息将与上下游供应链产业合作,实现产品性能瓶颈突破的同时,共同带动3D产业链的整体发展。

结尾

事实上,从2D成像技术到3D显示技术是一次技术跃迁。目前3D技术从认知和使用上,尚处于商业化较早阶段,3D显示在性能上较2D视觉具有绝对优势,弥补了2D在深度识别上的不足。可以相信,未来随着智能终端进一步普及,尤其是在消费电子、机器人、智能驾驶等,3D技术市场规模有望实现快速增长。

0 阅读:0

书南科技

简介:感谢大家的关注