马里兰大学计算机科学家领导的一个团队发明了一种相机机制,可以改善机器人对周围世界的观察和反应。受人类眼睛工作原理的启发,他们的创新相机系统模仿了眼睛用于长时间保持清晰稳定视觉的微小不自主运动。该团队对相机进行的原型设计和测试被称为“人工微跳视增强事件相机”(AMI-EV),详细内容发表在2024年5月的《科学机器人》杂志上。
“事件相机是一种相对较新的技术,比传统相机更擅长跟踪移动物体,但当涉及到大量运动时,今天的相机很难捕捉到清晰、无模糊的图像,”该论文的第一作者、马里兰大学计算机科学博士生何博涛(音)说。“这是一个大问题,因为机器人和许多其他技术,如自动驾驶汽车,依赖于准确和及时的图像来对不断变化的环境做出正确的反应。因此,我们问自己:人类和动物如何确保他们的视觉集中在移动物体上?”
对于他的团队来说,答案是微跳视,当一个人试图集中注意力时,会不自觉地出现小而快的眼球运动。通过这些微小但连续的运动,人眼可以随着时间的推移准确地保持对物体及其视觉纹理(如颜色、深度和阴影)的关注。
“我们认为,就像我们的眼睛需要这些微小的动作来保持聚焦一样,相机也可以使用类似的原则来捕捉清晰准确的图像,而不会因运动引起的模糊。”他说。
该团队通过在AMI-EV中插入一个旋转棱镜来重定向镜头捕获的光束,成功地复制了微跳视。棱镜的连续旋转运动模拟了人眼内自然发生的运动,使相机能够像人一样稳定地记录物体的纹理。然后,该团队开发了软件来补偿棱镜在AMI-EV中的运动,以巩固来自移动光线的稳定图像。
该研究的合著者、马里兰大学计算机科学教授Yiannis Aloimonos认为,该团队的发明是机器人视觉领域的一大进步。
“我们的眼睛拍摄周围的世界,这些照片被发送到我们的大脑,在那里对图像进行分析。感知是通过这个过程发生的,这就是我们理解世界的方式,”马里兰大学高级计算机研究所计算机视觉实验室主任阿洛莫诺斯解释道。“当你和机器人一起工作时,用相机代替眼睛,用电脑代替大脑。更好的相机意味着机器人有更好的感知和反应。”
研究人员还认为,他们的创新可能对机器人技术和国防产生重大影响。在依赖精确图像捕捉和形状检测的行业工作的科学家们一直在寻找改进相机的方法,而AMI-EV可能是解决他们面临的许多问题的关键解决方案。
“凭借其独特的功能,事件传感器和AMI-EV有望在智能可穿戴设备领域占据中心地位,”该论文的资深作者、研究科学家科妮莉亚·费尔穆勒说。“它们比传统相机具有明显的优势,例如在极端照明条件下的卓越性能、低延迟和低功耗。这些功能非常适合虚拟现实应用,例如,需要无缝体验和快速计算头部和身体动作的应用。”
在早期测试中,AMI-EV能够在各种情况下准确捕捉和显示运动,包括人体脉搏检测和快速移动形状识别。研究人员还发现,AMI-EV每秒可以捕捉数万帧的运动,优于大多数常见的商用相机,商用相机平均每秒捕捉30到1000帧。这种更平滑、更逼真的运动描绘,在创造更身临其境的增强现实体验、更好的安全监控,以及改善天文学家在太空中的图像捕捉方式等方面,都可能起到关键作用。
“我们的新型相机系统可以解决许多具体问题,比如帮助自动驾驶汽车识别道路上的人和非人,”阿洛莫诺斯说。“因此,它有许多应用,大多数公众已经与之互动,如自动驾驶系统甚至智能手机相机。我们相信,我们的新型相机系统正在为更先进、更有能力的系统铺平道路。”