人工智能和神经网络帮助 Reddit 用户将一部老电影以 60fps 的速度转换为 4K 分辨率。
电影史上最著名的片段之一是短片“L’Arrivée d’un train à La Ciotat”(或火车到 La Ciotat 车站的到来),一段由 50 多秒的视频由卢米埃尔兄弟。 最初录制于 1896 年,正如您想象的那样,当时的相机无法捕捉声音,因此让图像处于运动状态已经是一项壮举。 现在您可以 60fps 的 4K 分辨率观看这部电影。
AI 填充像素以将分辨率提高到 4K
作为 Reddit 用户,Denis Shiryaev 决定借助技术改进经典。 他开始使用 Topaz Labs 的名为 Gigapixel AI 的工具将图像分辨率缩放到 4K。
此工具允许您生成像素以增加原始图像的大小,以实现更高的分辨率和尽可能多的细节。 您可以在下面看到原始视频:
除了提高分辨率外,他还设法提高了帧速率。 使输出更流畅的东西。
如您所见,火车的运动和穿过场景的人看起来非常流畅。 几乎没有任何动作中断,这使得它与原来的完全不同。 这里使用了 AI 来填充多余的帧,所以最终的结果绝对是催眠的。
为此,Shiryaev 使用了一个名为 DAIN 的工具,它执行一系列超级复杂的过程,用与电影其余部分完美同步的图像填充那些不存在的漏洞。
为了实现这一点,分析工具分析图像以检测场景的视觉流、上下文和深度。 然后它生成一个热图,最终为帧创建完美的图像。
然后他添加了声音作为最后的润色。