苹果 AI 模型从单张图像重建具有真实光照的 3D 对象

苹果的研究人员推出了 LiTo，一种 AI 模型，它可以从单张图片生成完整的 3D 对象，同时在不同的观看角度保持逼真的光照和反射效果。

苹果的研究人员开发了一种新的人工智能模型，可以从单张图像重建完整的三维物体，同时保留逼真的光照效果，如反射和高光。这项工作在研究论文《LiTo: Surface Light Field Tokenization》中介绍，旨在改进机器在统一系统中表示物体几何形状和视角依赖外观的方式。

模型在统一的三维潜在空间中编码几何和光照

LiTo 模型引入了一种三维潜在表示，不仅捕捉物体的形状，还捕捉光线从不同观察角度与其表面相互作用的方式。这种方法解决了以往方法的一个局限性，以往方法通常只专注于重建几何形状或预测简化的、与视角无关的外观。

通过将表面光场数据编码为一组紧凑的潜在向量，系统可以在复杂光照条件下再现视图依赖的效果，如高光和菲涅耳反射。这使得重建的物体在视角变化时能够保持一致的视觉真实感。

与需要来自不同角度的多张图像的传统3D重建技术不同，LiTo可以从单张输入图像推断出完整的3D表示。该系统通过包含编码器和解码器的两阶段过程实现这一点。

编码器将物体的视觉信息压缩成潜在表示，捕捉其结构和光照特性。然后，解码器重建物体，生成其几何形状以及在不同视角下的外观。

一个独立的模型被训练来直接从单张图像预测适当的潜在表示，从而实现端到端重建，而无需多视图输入数据。

为了训练系统，研究人员使用了数千个从150个不同观察角度和三种光照条件渲染的3D物体。训练过程中没有将所有可用数据输入模型，而是依赖于随机抽样的表面光场数据子集。

这些子集被编码为潜在表示，而解码器则被训练以重建完整的对象及其在不同条件下的外观。随着时间的推移，模型学会了从部分信息中概括几何形状和依赖视角的光照。

该系统依赖于潜在空间，在这里视觉信息以紧凑的数值向量表示。这种方法在保持物体特征与光照行为之间的基本关系的同时，降低了计算成本。

通过在这个压缩空间中操作，模型可以有效地推断出物体在不同视角下应如何呈现，而无需显式存储每种可能的变体。这既能加快处理速度，也能产生更一致的渲染结果。

苹果的研究包括对 LiTo 和一个名为 TRELLIS 的现有模型进行比较。结果表明，当从不同角度观察物体时，LiTo 能产生更一致、更真实的光照效果，特别是在涉及复杂反射的场景中。

该研究强调了该模型联合表示几何和外观的能力，这对于需要在动态视角下保持高视觉保真度的应用至关重要。