Apple 研究人员团队开发了一种新的高分辨率 3D 场景渲染框架,称为 LGTM(Less Gaussians,Texture More)。该框架解决了现有前馈 3D 高斯喷射方法在高分辨率下的低效率问题。

随着分辨率的提高,传统的前馈方法成本高昂,阻碍了高分辨率 3D 场景生成的可行性。 LGTM 旨在通过将几何复杂性与渲染分辨率分离来增强现有系统的功能,从而在添加详细纹理的同时允许更简单的几何形状。

LGTM 框架基于先前建立的前馈方法,通过在几何结构之上分层纹理预测。研究人员使用经过高分辨率地面实况验证的低分辨率图像来训练模型,确保生成的几何形状保持准确。此外,第二个网络专注于高分辨率图像的详细纹理,使系统能够产生视觉丰富的结果。

这项创新可能会对 Apple Vision Pro 耳机产生重大影响,该耳机的显示屏总像素约为 2300 万。当前的前馈方法在如此高分辨率下面临局限性,导致快速准确地生成场景时出现计算瓶颈。 LGTM 可以在需要高分辨率场景渲染的应用中促进更流畅的性能和更清晰的视觉效果。

通过部署 LGTM,Apple 可以为用户提供更加身临其境的环境和改进的直通体验,同时降低处理需求。 LGTM 项目页面提供了 NoPoSplat、DepthSplat 和 Flash3D 等演示方法,展示了与以前的技术相比增强的结果。

该项目的示例视频和图像说明了 LGTM 提供更丰富的细节和更接近高分辨率地面事实的结果的能力,展示了其在实际应用中的潜在优势。

<小时/>

精选图片来源

  17 Pro取得突破性成功后,小米投资1.4亿美元用于副屏研发