在我眼前的盘子上,一盘悬浮的寿司栩栩如生,仿佛触手可及。厨师在上面精心制作着黄尾鱼卷和金枪鱼,每一个动作都展现出专注与热情。我惊讶地发现,宛如生灵的这盘寿司,是几分钟前我使用iPhone 15 Pro拍摄的。此刻,我佩戴着Apple的Vision Pro,沉浸在逼真的3D体验中,享受这独特的视觉盛宴。
滑动屏幕,我浏览了更多神奇的3D视频。一家人在草地上欢快地散步,彼此紧紧相拥,这一幕幕都让我感到既陌生又亲近。我感叹这些视频的生动逼真,却也疑惑,这样的体验是否真的能走进大众的生活?
Vision Pro再次给我留下了深刻的印象
现在,我体验着Apple的新款Spatial Video iPhone相机功能,这个功能如今已在Apple新的iOS 17.2公开测试版中上线,并将在今年晚些时候发布的17.2版本中大放异彩。它可以轻松记录下3D视频,但要体验这种功能,你需要使用Apple的最出色的手机——售价7999元的iPhone 15 Pro。而若想以3D形式观看这些视频,你还需购买售价高达3500美元的Vision Pro头戴式耳机,这款产品预计明年年初上市。
这些视频令人瞩目,其3D效果之逼真让人叹为观止。录制过程简单易操作,并且可以保存为普通的2D视频格式。然而,值得注意的是,这个功能主要是为2024年的产品设计的。当然,对于大多数人在短期内可能不会购买。尽管如此,这样的体验仍然给我留下了深刻的印象。
再次佩戴Vision Pro,那种震撼的视觉体验又一次俘虏了我。设备的高分辨率和出色的显示效果让我惊叹不已。甚至可以说,这款设备的显示效果比我家中的任何显示器都要出色。我想象着,如果我有了一款Vision Pro,我会沉醉于观看各种3D和其他格式的视频和照片。
第二次尝试使用Vision Pro时,我选择了符合我个人需求的处方眼镜来搭配使用。这一体验让我更加深刻地感受到这款头戴式设备的舒适度和易用性。设备操作简单直观,让我可以全身心地投入到每一个视觉细节中。
设置眼动追踪功能的过程非常简单快捷。我只需看着屏幕上出现的圆圈并点击即可。此外,我还尝试了新的缩放手势,只需捏住手指并伸展即可放大照片。这种手势配合眼动追踪功能的工作方式非常出色,无论我观看何处,图像都会随之放大。感觉就像是一种心灵感应般神奇。我在Photos应用程序中浏览了一些测试照片,并在Memories中播放了一些照片回放。最近使用Quest 3的经历让我对Apple的透视摄像头和显示屏分辨率有了新的认识。
全景照片带给我一种惊艳的感受。它们仿佛开启了一扇通往其他世界的窗户,环绕着我,让我感到身临其境。这些照片几乎有了三维的效果,仿佛我将能走入其中。同时,空间视频也给我带来了极佳的视觉享受。这种3D效果、宛如鬼魅般的播放质量,无疑让我沉浸其中,而不仅仅是简单地观看视频回放。
然而,在短暂的体验过程中,我也发现了一些限制。例如,尽管我能捕捉到照片和录制的内容,但由于所有照片都是由Apple提供的,我只能通过他们的描述来了解我的体验。
15 Pro上的空间视频是如何工作的呢?
空间视频录制需要将手机保持水平状态。iPhone 15 Pro在横向模式下同时使用主摄像头和超广角摄像头来创建3D视频。它一次记录两个1080p、30fps的视频,并通过计算摄影解决镜头和距离差异。这些文件以HEVC格式保存,与其他Apple视频文件类似,存储大小约为每分钟130MB。值得注意的是,由于文件被限制为相对较低的1080p和30fps分辨率和帧率,这在一定程度上影响了视频的质量。
您可以通过Messages或AirDrop分享您录制的空间视频剪辑,但在其他应用中可能会压缩文件并丢失3D数据。不过,这些视频剪辑可以在任何地方作为日常视频文件使用,这对于那些想要选择“特殊”3D视频格式的人来说无疑是一个好消息。
要在Apple的Camera应用程序中设置或查看Spatial Video模式,您需要使用形状像Vision Pro的切换开关。这将限制您的视频分辨率和帧速率,并要求您以横向模式拍摄。目前没有提供3D垂直视频的功能。有人建议我将摄像头转向侧面,并与物体保持一定距离。当我拍摄制作寿司的人时,我靠近了一些并且效果非常好。我在一个光线充足的房间里进行录制,但空间视频录制模式阻止我调整亮度和对比度,这意味着在低光环境下录制可能会产生比普通视频更多的颗粒感。
空间视频的演变与编辑
Apple的空间视频,那是一种沉浸式的3D体验,采用HEVC格式,但目前没有API支持,这意味着第三方应用还无法识别这些文件。然而,未来的发展或许会改变这一现状,因为开发者总是能找到解决之道。而且,除了在Vision Pro上观看,还没有其他的3D视频观看方式,这无疑是一种局限性。
空间3D录制,理论上,它可以被应用于如Meta Quest 3等虚拟现实(VR)头显。这是一种直接获取的立体视频,不依赖激光雷达或深度感知技术进行全移动空间捕获。然而,目前这还未被纳入Apple的计划之中,我们期待未来会有所改变。
录制时间上没有任何限制,理论上你可以制作空间视频的3D长片电影。然而,这些视频片段只能在iPhone或Vision Pro中进行修剪,无法在其它设备上进行编辑,这不得不说是一种遗憾。好消息是,Final Cut Pro,Apple的视频编辑软件预计在明年会获得空间视频编辑的支持。如果你打算在Mac或iOS视频编辑器中编辑这些视频文件,它们最终将以2D格式呈现。
无法在4K分辨率下录制视频也是一种遗憾。考虑到Apple的Vision Pro头显具有惊人的质量和分辨率,一旦在头显中查看iPhone照片,并对它们进行缩放或在环绕视图模式下查看全景照片,高分辨率和高流畅度的需求就变得尤为明显。这些空间视频已经表现得非常好,但如果有更高流畅度、更高清晰度的60fps或4K格式,那无疑会更好。也许未来的某一天我们能够实现这样的录制体验。
记忆的3D未来
Apple似乎在尝试的不只是改变生活方式而是记忆的方式。自动化的照片集已经被打上“记忆”的标签。在Vision Pro上使用空间视频的体验,就如同观看《少数派报告》或《银翼杀手》中的数字回忆录一般,给人一种身临其境的感觉。这让我想起了使用Google的实时3D光场对话时,所体验到的逼真的3D现实感,但在这个案例中我只是在观看视频。
苹果在自己的Photos应用程序中为空间视频添加了一个新的类别。这在Memories中尚未出现,或许这个新的Photos应用程序中的空间视频选项,将成为新3D体验的主要存储库。目前苹果只允许iPhone 15 Pro录制3D视频,虽然Vision Pro本身可以拍照,但苹果的目标显然是希望所有人都开始使用这种格式进行录制建立一个可用的视频库。
这意味着你需要记住开启空间视频功能,并注意使用它,未来的Vision Pro用户将在默认情况下启用iPhone 15 Pro上的这一功能,但这只占iPhone用户的很小一部分。我会开启这项功能,因为我想看看视频在明年的Vision Pro上的表现。除非你打算购买一台Vision Pro,否则现在没有理由去录制空间视频。虽然有可能很久以后你会后悔没有以3D形式拍摄那些特别的瞬间。
原文作者:《华尔街日报》的乔安娜·斯特恩 (Joanna Stern)