计算机科学家开发出受人眼启发的新型改进型相机

马里兰大学计算机科学家 Botao He、Yiannis Aloimonos、Cornelia Fermuller、Jinxi Chen 和 Chahat Deep Singh 开发的新型摄像系统示意图。图片来源:Botao He、Yiannis Aloimonos、Cornelia Fermuller、Jinxi Chen 和 Chahat Deep Singh。

由马里兰大学计算机科学家领导的团队发明了一种摄像装置,可以改善机器人观察周围世界和做出反应的方式。他们的创新摄像系统受到人眼工作原理的启发,模仿眼睛微小的不自主运动,以保持长时间清晰稳定的视力。

该团队对这款名为“人工微扫视增强事件相机”(AMI-EV)的相机进行原型设计和测试,详情请见 发表在期刊上 科学机器人

“事件摄像机是一种相对较新的技术,比传统摄像机更善于追踪移动物体,但当涉及大量运动时,当今的事件摄像机很难捕捉到清晰、无模糊的图像,”该论文的第一作者、马里兰大学计算机科学博士生何波涛说道。

“这是一个大问题,因为机器人和许多其他技术(例如自动驾驶汽车)都依赖准确及时的图像来对不断变化的环境做出正确反应。因此,我们问自己:人类和动物如何确保他们的视线始终集中在移动的物体上?”

对于何教授的团队来说,答案是微扫视,即当人们试图集中视线时不由自主发生的微小而快速的眼球运动。通过这些微小而连续的运动,人眼可以长时间准确地聚焦于物体及其视觉纹理(例如颜色、深度和阴影)。

何立表示:“我们认为,就像我们的眼睛需要微小的运动来保持聚焦一样,相机可以使用类似的原理来捕捉清晰准确的图像,而不会因运动而产生模糊。”

该团队通过在 AMI-EV 内插入旋转棱镜来重定向镜头捕捉的光束,成功复制了微扫视。棱镜的连续旋转运动模拟了人眼中自然发生的运动,使相机能够像人一样稳定记录物体的纹理。然后,该团队开发了软件来补偿棱镜在 AMI-EV 内的移动,以巩固来自移动光线的稳定图像。

马里兰大学研究人员开发出受人眼启发的新型改进型相机

新型事件摄像系统与标准事件摄像系统的对比。图片来源:Botao He、Yiannis Aloimonos、Cornelia Fermuller、Jingxi Chen、Chahat Deep Singh

该研究的共同作者、马里兰大学计算机科学教授 Yiannis Aloimonos 认为该团队的发明是机器人视觉领域的一大进步。

“我们的眼睛拍摄周围的世界,这些照片被发送到大脑,大脑对图像进行分析。感知就是通过这个过程发生的,这就是我们理解世界的方式,”阿洛伊莫诺斯解释道,他也是马里兰大学高级计算机研究所 (UMIACS) 计算机视觉实验室的主任。“当你和机器人一起工作时,用相机代替眼睛,用计算机代替大脑。更好的相机意味着机器人有更好的感知和反应。”

研究人员还认为,他们的创新可能具有超越机器人和国防的重大意义。从事依赖精确图像捕捉和形状检测的行业的科学家一直在寻找改进相机的方法——而 AMI-EV 可能是他们面临的许多问题的关键解决方案。

“凭借其独特的功能,事件传感器和 AMI-EV 有望成为智能可穿戴设备领域的焦点,”该论文的资深作者、研究科学家 Cornelia Fermüller 表示。“与传统相机相比,它们具有明显的优势,例如在极端光照条件下的卓越性能、低延迟和低功耗。这些功能非常适合虚拟现实应用,例如,无缝体验和快速计算头部和身体运动是必需的。”

在早期测试中,AMI-EV 能够在各种情况下准确捕捉和显示运动,包括人体脉搏检测和快速移动形状识别。研究人员还发现,AMI-EV 可以以每秒数万帧的速度捕捉运动,优于大多数常见的商用相机,后者平均每秒捕捉 30 到 1000 帧。

这种更流畅、更逼真的运动描绘可能对创造更具沉浸感的增强现实体验、更好的安全监控以及改善天文学家在太空捕捉图像的方式等任何方面都至关重要。

“我们的新型摄像系统可以解决许多具体问题,比如帮助自动驾驶汽车辨别道路上哪些是人,哪些不是人,”阿洛伊莫诺斯说。“因此,它有许多应用,许多普通公众已经与之互动,比如自动驾驶系统甚至智能手机摄像头。我们相信,我们的新型摄像系统正在为未来更先进、更强大的系统铺平道路。”

更多信息:
Botao He 等人,受微扫视启发的机器人事件相机, 科学机器人 (2024)。 DOI: 10.1126/scirobotics.adj8124

由马里兰大学提供


引用:计算机科学家开发出受人眼启发的新型改进型相机(2024 年 7 月 1 日)于 2024 年 7 月 3 日检索自

本文件受版权保护。除出于私人学习或研究目的的合理使用外,未经书面许可不得复制任何部分。内容仅供参考。

1720017245
#计算机科学家开发出受人眼启发的新型改进型相机
2024-07-01 18:25:04

Leave a Reply

Your email address will not be published. Required fields are marked *

近期新闻​

编辑精选​