AR界安卓在中国,Rokid引爆空间计算狂潮

光锥智能 2023-08-27 22:06:26

点击关注

文丨刘雨琦

你可能很难想象,在一个没有显示屏也没有鼠标的空间,仅凭一副AR眼镜和一台口袋主机,就能完成一篇5000字的文章。

没错,8月26日,在2023 Rokid Jungle 新品发布会现场,这样的场景正在真实发生着。会上,Rokid 发布了消费级OST(光学透视)个人空间计算平台 Rokid AR Studio,包括Rokid Max Pro(售价4999元)和Rokid Station Pro(售价3999元)两大硬件产品。

Rokid创始人、CEO祝铭明在发布会上表示:“让空间计算能更自然地融入日常生活和工作,让Rokid AR Studio成为你的第一台空间计算机。”

这和以往人们对AR眼镜的认知有很大不同。在此之前,AR眼镜一直被“锁死”在娱乐场景中,靠影视和游戏两大支柱产业生存,而Rokid AR Studio 真正成为了个人生产力工具,IM软件、写文章、写代码,搜索信息等等工作场景,都能通过最新的硬件完成。

使用场景的扩展,让AR设备从边缘化的场景中,转向更为实际的使用价值。消费者愿意买单,整个AR产业链才会进入消费级市场正循环。

说自己是个“社恐”的老板祝铭明,是个十足的产品和技术控,他在内部曾毙掉两版产品设计初稿,差点把产品部“逼疯”。可当最后产品部偷偷拿出设计好的产品时,祝铭明立刻下令资源都倾斜到这个产品上。“我只关心一个数据,就是用户使用时长。目前,我们的真实用户使用时长已经接近一个半小时,周留存率超过20%。做到这个,用户会自然增长。”

用户数积累达到百万级别,也意味着,AR行业进入了软件系统和生态建设的第二阶段。近年来,已经有越来越多的系统厂商、应用软件厂商、内容厂商加入到AR生态建设中来。

“一群疯子,一个梦想,十年光阴。”

正如祝铭明所言,从娱乐场景到生产力工具,Rokid用了10年,这背后不只是思考的跃进,更是从硬件技术到软件技术,乃至整个产业链向前迈的一大步。苹果和Rokid开启了AR竞赛第二阶段,行业比拼也正在加速。

01 单目SLAM,怎么重新定义交互?

在整场发布会中,最令人意外的,不是Rokid Max Pro 76g的机身,而是只有一颗摄像头,竟然能完成SLAM(空间定位技术)、微手势交互、第一视角分享、视觉定位VPS能力等多种融合型的交互方式。

AR/VR设备在经历了物理交互(手柄)、语音交互、手势交互后,正在往眼球追踪和现在的多感知融合交互方案发展。

但多感知融合的交互,对于硬件的要求更高,除了要满足基本的需求,更要全方位、多角度的捕捉到用户动作、手势,才能精准地完成交互。

而用单颗摄像头完成SLAM交互有多难呢?

视觉SLAM方法包含两个模块,一个是Tracking,已知3D点位置,基础定位;一个是Mapping,更新3D点的位置。而无论是哪个环节哪种方法,单目意味着只能选择一种摄像头,以及固定位置和固定角度,对于识别的范围、追踪速度和精度都存在极大的挑战。

“业界都认为单目SLAM不可置信、很难做到”,祝铭明戏称,“这可能也是对Rokid的一种肯定吧”。

目前,市场上为数不多的具备空间交互的AR眼镜至少会搭载三颗摄像头,来承担算法功能。视觉路线的不同,也形成了以苹果为代表的VST(视频透视)和以Rokid为代表的OST(光学透视)两大阵营。

仍以苹果Vision Pro为例,其用12颗摄像头“堆”出了快速定位捕捉、高精度的全景感知以及精密追踪,并通过VST的方式,将外部的世界通过摄像头显示在终端屏幕上,通过摄像头的实时拍摄来看到外部世界。

但为了交互而堆硬件的方法,成本提高的同时价格也在翻番上涨,同时导致了机体重以及难量产两大落地难题。这也就是为什么,苹果Vision Pro定价3499美元,并要在2024年才能实现量产的根本原因。

而Rokid坚持的OST方案本身便存在着一定的技术壁垒,由于管路设计复杂,且显示画面视角有限,光学零部件成本造价较高,在价格不进行较大涨幅的情况下,Rokid只能通过技术突破的方式,来降低叠加成本。

而让行业认为“不可置信”的单目SLAM是如何做到的?会后,光锥智能与祝铭明进行了深度的交流,发现Rokid的“绝招”在于,用AI算法来突破硬件的壁垒。

祝铭明介绍到,单目SLAM技术虽然早就存在,但还从没有被应用在AR眼镜中,手机的前置摄像头也同样应用了此类技术,唯一不同的是:算法。

从AI到AR,这是一条看似跨越但实际上本质融通的道路,但也正是因为Rokid此前数年在AI领域的积累,通过多维度视觉算法模型,包括视觉定位与增强、数字人技术、2D/3D手势识别、OCR识别等技术,让AI在具体的场景中落地。

比如AR视觉定位与增强功能,就是在解决和突破单目的限制,通过构建厘米级的视觉地图,将虚拟信息在真实物体世界进行精准叠加融合,实现物体和场景的高精度三维重建。

Rokid副总裁、XR中心负责人王俊杰介绍道:“空间定位基于SLAM技术,然后才能在空间中进行稳定的自然交互。1~2秒的时间通过算法快速初始化,建立映射空间。”

而市场上,大多数设备还是采用双目的方案来解决,但双目融合也存在很多问题,除了成本多增加了一个摄像头之外,还需要不断用算法来实时拟合两个摄像头的数据,从而带来更多的复杂问题。

由此看来,如果单目方案能够顺利进行,Rokid就又率先踩准了一个技术趋势。此前,Rokid也是行业首创Station 主机的厂商,眼镜和主机分离的方案已经被证明是行业体验的最优解。

另外,在手势识别中,Rokid采用了微手势的交互方式,手指一捏,即可进行点击和选中;手势左右拨动,还可对正在浏览的界面或内容进行切换。简单的捏合和滑动手势等逻辑定义比较自然,上手较快。

通过我们的现场测试结果来看,目前Rokid可以实现双手的裸手空间交互,目前,Rokid手势识别的算法支持水平/空间轴转、明/暗光等复杂场景识别,同时可识别的手势类型丰富、算法精准,整体识别率约90%以上,并拥有毫秒级识别的响应能力及99%的可靠性保障。

Rokid表示,基于深度学习算法和大量实验数据,单目3D手势算法能在移动端实时重建手部姿态参数,包括手部6DoF、手部关节点6DoF,以及Hand Mesh信息,为AR的手势交互提供良好的算法基础。

目前,Rokid的手势识别在3D空间中可实现多种操作,包括点、捏、抓、握、拖、拉等等,完全可以满足AR交互应用需求。例如,戴上Rokid Max Pro,伸出手,在眼前张开手掌即可呼出菜单。

毕竟想要支持如此复杂的算法结构,背后的功臣不只摄像头,更与“大脑”也就是Rokid Station Pro的算力和性能息息相关。

02 口袋里的空间计算机

一直以来,整个VR/AR行业都存在着“算力、舒适度、价格”的不可能三角。算力更高的设备往往更重,价格也更贵,舒适度高的轻量级设备又无法满足使用需求。

从现实的情况来看,目前并没有一种“完美”的解决方案,主流厂商们试图在二者中找平衡,当下市场上存在着两类主流的解决方案:一种是以苹果为代表的显示计算一体,电池外接的方案;另一种,则是以Rokid为代表的显示计算分体设计。

苹果一体化的设计,将两块micro-OLED屏幕、多个摄像头和传感器、扬声器等元件集成在一起,在显示效果、计算等方面效率更高,但同时也会增加机体本身重量,导致只能将电池外接。

而Rokid坚持的分体式设计,将佩戴性拉到了极致,对比Vision Pro 454g重量,76g的眼镜重量,几乎和普通眼镜没有差别;同时主机算力也可以不那么受空间资源限制,同时一定程度上避免散热带来的不适问题。

总的来说,分体式的路线可以做到眼镜的轻便和主机算力的双向极致发展,同时也更加灵活,算力的迭代和眼镜的技术路线可以异步进行。

Rokid Station Pro就是在分体式设计的基础上,进行了更高的算力升级,打造集计算、成像、通信等功能为一体的All in One终端,也是真正可以被称之为“生产力工具”的超级终端。

据光锥智能了解到,Rokid Station Pro 搭载了高通骁龙XR2+、12G RAM + 128G ROM, 支持WIFI6/6E和BT5.1,Station Pro续航能力将是手机方案的2倍以上,同时具有更佳的散热和更高性能,可以达到厘米级6DoF跟踪精度和极低MTP(Motion to Photon)渲染延迟。

公开信息显示,骁龙XR2+是高通推出最新旗舰的XR平台,能够实现50%的续航能力和30%的散热性能提升,从而支持更小更轻薄的设备外形中赋能更丰富和沉浸式的体验。同时骁龙 XR2 + 平台引入全新图像处理管线,能够实现低于 10 毫秒的时延,开启全彩视频透视 MR 体验。

从光锥智能在现场的体验来看,无论是观影、游戏过程中还是调用键盘进行工作生产流程,尤其是在游戏的高频交互和打斗下,画面的流畅度和反应速度,都十分丝滑。

值得一提的是,目前市场上核心算法还是3DoF(三自由度追踪),是指该设备能够检测到向上、前、下三个方向的转动,但不能检测到头部的前后左右的空间位移。

而升级后的Station Pro采用的6DoF算法,除了能检测到头部的转动带来的视野角度变化外,还能够检测到由于身体移动带来的“上下前后左右”6种位移的变化。

这个算法的升级,更重要的在于玩家的自由度。举个例子,3DoF算法下的打僵尸,射程范围在前方的一定角度,而升级后僵尸从360度出现,一回头身后僵尸扑面的体感,是前者无法达到的。

也就是说,不只算力更高、体验更丝滑、算力空间的拓展也带来了体感上的巨大不同。

高通技术公司XR产品管理高级总监Said Bakadir表示:“第一代骁龙XR2+平台是赋能下一代XR体验的不二之选。高通技术公司为Rokid Station Pro提供业界领先的平台,支持其打造了自身独特的AR应用生态系统。”

03 做AR行业中的iOS

当然,苹果手机之所以能在手机市场上常年称王称霸,成功的原因并不只于它的硬件,更在于它的系统和生态。通过软件系统来培养用户使用习惯所筑下的壁垒,往往要比硬件本身更牢固。

这是Rokid自研AR空间操作系统——YodaOS-Master的部分原因,但却不是全部的原因。

今年三月Rokid Open Day上,Rokid正式推出了YodaOS-Master,并发布了“AR空间创作平台灵境”,让每个人都能在3D空间内创作AR内容,人人可参与,彻底打破AR创作的门槛,让生态势能爆发。

如果说单目SLAM、3D手势识别、骁龙XR+、灵境平台都是一把把利刃,那YodaOS-Master,通过一套自研的系统,才能将这些绝招释放。

简单来说,Rokid 是在走一条没有人走过的路,而Rokid的理念是“软件定义一切”,所有的软件都需要系统进行承载和提供,才能发挥出价值。

围绕感知、理解、交互、展现、协同和数字创作五个方面,YodaOS-Master从芯片优化、硬件设计、软件架构、AR算法还有创作工具等诸多方面都做了巨大升级,或是目前最为完整的一套面向AR时代的空间操作系统。

发布会现场,Rokid也展示了自研系统带来的开放性和便捷性。举几个明显的例子,基于自研系统和骁龙XR+平台,Rokid开发了多任务并行模式,打破了之前只能单任务的掣肘,实现一边聊钉钉、一边写代码、一边看文档的场景,能够同时实现并充分的发挥了空间大屏的优势,让生产效率提升到最大。

另一个极为创新的案例是,Rokid基于自研系统,重新定义了空间搜索。祝铭明介绍道,这打破了此前搜索信息的陈列方式,搜索结果的呈现不再是二维的平面的效果,而是存在在三维空间中。“与问题最相关的结果会离你最近,有点相关的结果在二级页面,离的越远越不相关,当然,你也可以划掉前面的结果,动态挑选你想要的结果”。

如此,未来感瞬间拉满,也展示出了与第一阶段AR设备的本质不同。

可以看到, AR行业开放生态已经开始进入第二阶段,苹果和Rokid不仅在硬件方向上一个向左,一个向右,在行业系统软件、生态发展上也是如此。通过硬件、算法、软件生态、开发者和用户与平台共创,AR在一个彻底开放的生态下,会更快速的迈向高速发展的第二阶段。

Rokid系统研发总工程师石文峰表示,“YodaOS-Master操作系统通过服务化的方式,将 Rokid语音识别、手势识别、SLAM等在内的多项核心技术集成为系统服务,并提供多种client SDK供开发者高效开发,比如SDK for Unity,可以让Unity开发者(开发者申请通道:开放平台网址(ar.rokidcom))能够快速使用Rokid核心技术进行开发”。

从硬件到软件,从系统到生态,Rokid的发展路径,颇有点当年乔布斯时代苹果的意味。

“AR 行业就在黎明前”,祝铭明说道。

欢迎关注光锥智能,获取更多科技前沿知识!

0 阅读:0

光锥智能

简介:关注AI产业,关注千行百业的智能化