去年 12 月,Google 相册添加了一项很棒的新功能:电影照片。 它们可以通过单击最近的亮点部分从应用程序自动生成。
电影照片如何在 Google 相册中工作?
他们想从 Google 博客中解释他们如何设法使照片具有动感,从而使它们具有如此引人注目的 3D 效果。 一如既往,他们使用他们的神经网络和计算专业知识。
据谷歌称,电影照片希望通过模拟相机的运动和 3D 视差,试图让用户重温“拍摄照片时的身临其境的感觉”。 他们如何将 2D 图像变成 3D 图像?
谷歌使用在 Pixel 4s 拍摄的照片上训练的神经网络来估计单个 RGB 图像的景深
谷歌解释说,就像他们使用肖像模式或增强现实一样,电影照片需要深度图来提供有关 3D 结构的信息。 为了在任何没有双摄像头的手机上实现这种效果,他们训练了一个卷积神经网络来从单个 RGB 图像中预测深度图。
只需一个视角(照片的平面),它就可以通过物体的相对大小、照片的视角、模糊等单眼线索来估计照片的深度。 为了使这些信息更加完整,他们使用 Pixel 4 相机收集的数据,与 Google 团队使用专业相机拍摄的其他照片相结合。
该技术类似于像素肖像模式的技术:图像被分析、分割,一旦背景被成功隔离,就通过移动背景来模拟运动。 这是相当复杂的,因为它需要对照片进行多次校正和分析,因为一些误解的像素可能会破坏最终结果。