研究人员利用阴影来模拟 3D 场景，包括被遮挡的物体
Plato-NeRF 是一种计算机视觉系统，它将激光雷达测量与机器学习相结合，利用阴影从一个摄像头视图重建 3D 场景（包括隐藏物体）。在这里，系统准确地模拟了椅子上的兔子，即使那只兔子被挡住了视线。图片来源：麻省理工学院 想象一下，当你驾驶一辆自动驾驶汽车穿过隧道时，你却不知道前方发生了一起车祸，导致交通中断。通常情况下，你需要依靠前面的汽车来判断是否应该开始刹车。但如果你的汽车能够看到前方车辆的情况，并更早地踩下刹车，情况会怎样？ 麻省理工学院和 Meta 的研究人员开发出一种计算机视觉技术，有朝一日可以使自动驾驶汽车实现这一点。 他们推出了 方法 该方法使用来自单个摄像机位置的图像来创建整个场景（包括视线受阻的区域）的物理精确的 3D 模型。他们的技术使用阴影来确定场景中受阻部分的内容。 他们将自己的方法称为 PlatoNeRF，基于柏拉图的洞穴寓言，这是古希腊哲学家《理想国》中的一段话，其中被锁在洞穴中的囚犯根据投射在洞穴墙壁上的阴影来辨别外部世界的现实。 通过将激光雷达（光检测和测距）技术与机器学习相结合，PlatoNeRF 可以生成比现有 AI 技术更精确的 3D 几何重建。此外，PlatoNeRF 更擅长平滑地重建阴影难以看到的场景，例如环境光强或背景较暗的场景。 除了提高自动驾驶汽车的安全性之外，PlatoNeRF 还可以让用户无需走动测量即可对房间的几何形状进行建模，从而提高 AR/VR 头戴设备的效率。它还可以帮助仓库机器人更快地在杂乱的环境中找到物品。 “我们的主要想法是将这两个之前在不同学科中完成的事情结合起来——多反射激光雷达和机器学习。事实证明，当你将这两者结合在一起时，你会发现很多新的机会去探索并充分利用两全其美，”麻省理工学院媒体艺术与科学研究生、麻省理工学院媒体实验室成员、PlatoNeRF论文的主要作者Tzofi Klinghoffer说。 Klinghoffer 与他的导师 Ramesh Raskar（麻省理工学院媒体艺术与科学副教授、相机文化小组负责人）、资深作者 Rakesh Ranjan（Meta Reality Labs 人工智能研究主任）、麻省理工学院的 Siddharth Somasundaram 以及 Meta 的 Xiaoyu Xiang、Yuchen Fan 和 Christian Richardt 共同撰写了这篇论文。这项研究将在 计算机视觉与模式识别会议，于 6 月 17 日至 21 […]