双耳效应音频:解放双眼的新型导航技术
Sylvain Ferrand
巴黎综合理工学院应用数学中心(CMAP)工程师研究员
François Alouges
巴黎综合理工学院应用数学中心(CMAP)教授
Philippe Le Borgne
ConnectSuit 联合创始人、开发者
闭上眼睛,让声音导航,轻而易举地到达目的地,就像使用手机导航app一样——这就是巴黎综合理工学院两名学者创办的初创企业RunBlind开发的新技术。你曾想过,是否能够用声音为视障人士提供导航?这个新颖的项目利用“双耳效应”再现3D声音环境,让视障者边走边听“前方传来”的声音,由声音指引方向。这项技术不仅服务于视障群体,还能改善普通用户的导航体验,让我们不再低头看手机,而将目光留给城市的景色。双耳效应音频是指在和人耳所处的同样声学环境下录制的音频,能提供比普通立体声更强的沉浸感。
双耳效应音频与实时跟踪头部运动的传感器配合使用,可用于导航:以一个声音作为引导,无论使用者头部如何转动,声音听起来都像从固定的方向传来。
巴黎综合理工学院正在开发的双耳效应导航系统,可用于旅游导览、健身路线导航等,视障者和健全人都能使用。
该系统未来将集成为一个软件套件,以便安装在苹果、索尼、谷歌等市面上常见的耳机中。
声音导航使用简单,顺应人类听觉本能,完全不必学习就能上手。
闭上眼睛,让声音导航,轻而易举地到达目的地,就像使用手机导航app一样——这就是巴黎综合理工学院两名学者创办的初创企业RunBlind开发的新技术。
这个新颖的项目始于 7 年前,当时巴黎综合理工学院数学应用中心 (CMAP) 教授 François Alouges 带领课题组开始研究利用“双耳效应”再现3D声音环境,原理与利用双眼效应再现立体图像有着异曲同工之妙。
Alouges教授的合作伙伴、巴黎综合理工学院工程师Sylvain Ferrand 曾听说盲人运动员能在他人的带领下跑步或轮滑,根据对方的脚步声或轮滑鞋声判断前进方向。Ferrand大受启发,与团队开启了“用于引导视障运动员的双耳空间定位技术”课题,研究如何用声音为视障人士导航。
01
何为双耳效应
双耳效应音频,又称“模拟头部录音”,是指在和人耳所处的同样声学环境下录制的音频。就视觉而言,人类双眼的视野虽然大致重合,但仍有几厘米的偏差。大脑能处理左右两侧接收到的视觉信号差,做出正确的方位判断。听觉也是类似的道理。对于右侧的声源,左耳听到的声波相位会与右耳略有不同,但无论声源在人的前后上下,大脑都能根据两耳信号差异辨别出来。如果声音响亮,大脑会意识到声源很近;如果声音微弱低沉,则声源很远。来自正前方的声源最有利于我们的听觉器官捕捉。
如何通过音频技术再现这种环绕效果呢?答案是通过麦克风的放置位置。将两个小麦克风安装在仿真人头两侧、耳朵所在处,并将间距设为 18 厘米,即真人两耳的平均间距,录音便能真实地再现两耳听觉的时间差、强度差。
图片来源: PI France
如今,巴黎综合理工学院的学者们专门开发了一个“合成双耳效应”信号处理算法,可将单声道声源转换成双耳效应音频。与实时跟踪头部运动的传感器配合使用,效果更佳:使用者向右扭头,原本来自前方的小提琴声听起来就像移到了头左侧。对每个声道都进行同样的处理,使用者戴着普通耳机就能体验双耳效应。杜比全景声(Dolby Atmos)等传统环绕声技术需在房间内放置多个扬声器。双耳效应环绕声则可以与普通高保真耳机、入耳式耳机甚至智能眼镜兼容。
02
双耳效应音如何用于空间定位
我们平日里听到的立体声是 20 世纪 30 年代的专利技术,其原理是通过两个扬声器或两个耳机播放两个麦克风的录音,再现声源的空间方位。坐在客厅沙发上聆听交响乐团的立体声录音,听者能分辨出钢琴声来自左侧,低音提琴来自右侧。而双耳效应音频能提供比普通立体声更强的沉浸感,让听者仿佛身临其境。
双耳效应音频与头部运动传感器结合,可为视障者导航:以一个声音作为引导,无论使用者头部如何转动,声音听起来都像从固定的方向传来。Ferrand 在课题中就开发了一个这样的系统,视障人士能边走边听“前方传来”的声音,由声音指引方向。系统的先进之处在于能精确地定位用户每时每刻所处的位置,并实时生成引导音。
供视障运动员使用的声音向导设备必须具备极高的响应速度和轻便性。Ferrand 说:“我们开发的首台样机重达 2.7 公斤,现在减轻到几克,跟普通耳机差不多,与智能手机结合使用。”最新一代样机可供视障人士半自主快走、跑步或轮滑,仅想改善体能的非专业运动员也能用。
03
多种应用场景
双耳效应导航设备的受众不仅限于视障群体,还包括不愿持续盯着屏幕看导航的普通用户。2019 年,两名学者创办了RunBlind,并入驻巴黎综合理工学院孵化器Drahi‑X novation 创新中心。随后,在 IT 界拥有二十余年经验的专业创业家Philippe Le Borgne 加入了RunBlind,出任董事长。
RunBlind团队正在筹集资金,用于完善技术,将其集成为一个软件套件,以便安装在苹果、索尼、谷歌等市面上常见的耳机中。虽然算法仍有优化和进一步开发的空间,但在不久的将来,也许普通用户就能完全靠悦耳的声音导航,不再需要低头看手机,将目光留给城市的景色。Le Borgne 说:“声音导航使用简单,完全不必学习就能上手,而且精度非常高,方向角度偏差最多只有几度。”这可比现有导航app机械的“前方路口靠右行驶”播报要友好得多,也高效得多。
双耳效应导航应用范围广泛:在室内可用于医院指引、博物馆导览;在室外可用于旅游或健身路线导航…无数的场景有待进一步探索。
作者
Marina Julienne
编辑
Meister Xia