创建 3D 场景的革命性技术

乔治·德雷塔基斯对自己很满意。 GraphDeco 与来自索菲亚安提波利斯（滨海阿尔卑斯省）国家数字科学与技术研究所 (Inria) 的团队以及来自萨尔布吕肯（德国）马克斯普朗克计算机科学研究所的同事一起开发了一种算法，在他们擅长的计算机视觉领域击败了谷歌和英伟达等大公司的竞争对手。 更具体地说，这个新程序实现了一个古老的梦想：从简单的照片中对场景进行三维渲染。

换句话说，一个物体、一栋建筑、一群人的几张镜头就足以从任何角度观看它们，缩放、旋转……电影中的特效专业人员、视频游戏中的特效人员、建筑师可以在他们的作品中可视化他们的项目。环境、房产中介看房、机器人工程师（引导机器，最好有三维的“平面图”）……都喜欢这样的功能。

直到 2020 年，方法使得这种渲染成为可能，但需要大量计算时间才能得到相当不精确的结果（缺乏反射、看不见的细节、“洞”……）。 首先，根据从两个不同角度拍摄但具有共同像素的两张图像，计算深度图。 这会在空间中生成稀疏的点云，这是场景中一种透明的幽灵。 然后，这片云会被致密化，使幽灵变得更加充实。 然后，这是一个计算量很大的步骤，从这些点推导出小三角形的网格，在网格上应用表面、颜色和纹理来生成形状。

有趣的演示

2020 年，Google 团队正在彻底改变该领域 NeRF方法，基于人工神经网络。 该对象是当代人工智能的核心，用于以非常抽象的方式对场景进行编码。 这种编码需要时间，对场景进行了四十八个小时的计算，作为研究人员测试算法的参考，但图像的精度要好得多。

2023年夏天，索非亚安提波利斯队用自己的方法重拳出击 « 3D 高斯溅射 » 或 3DGS, “三维高斯爆发”。 在三十分钟内，她从一百张照片中获得了一个三维模型，然后可以以每秒一百张高质量图像的速度从各个角度观看该模型。 这比 Nvidia 的 Instant NGP 强一百倍，后者本身的性能比 NeRF 好一百倍。 “我没有自我推销的习惯。 但我没想到我会遇到这种情况，经过二十多年致力于这个问题的工作，我几乎可以说它已经解决了”乔治·德雷塔基斯 (George Drettakis) 作证说，他坚持为这项工作提供公共资助（特别是 Inria 和欧洲研究理事会的资助）。

本文还剩 43.64% 需要阅读。 其余部分保留给订阅者。