华盛顿大学的研究人员创造了一种名为 Audeo 的人工智能,它可以通过分析无声钢琴视频来重现逼真的音乐。
现在,即使是人工智能也能够以逼真的方式以数字方式再现钢琴的任何声音,只需分析无声视频即可。
华盛顿大学的一组研究人员创造了一种名为 Audeo 的人工智能,它结合了一种智能软件,该软件之前用 172,000 帧钢琴家保罗巴顿演奏莫扎特或巴赫等古典作曲家的音乐的视频进行了训练。
Audeo AI 能够虚拟弹奏钢琴
只需通过分析无声视频,Audeo AI 就能够仔细了解按下了哪些键以及它们的顺序。 通过这种方式,它确定了单个音符及其排列。 它还能够感知每个键的弹奏力度和按下的时间,这使它能够计算每个音符的强度以及它在随后弹奏的音符的声音下徘徊的时间。 似乎这还不够,人工智能还能够理解钢琴独特的声学特性。
这些数据被转换成数字合成器可以理解的格式,当该合成器播放音乐文件时,它非常接近原始钢琴声音。
在其中一项惊人的测试中,Audeo AI 能够通过作曲家巴顿在演奏独特音乐时的无声视频来学习一首歌曲。
然后,诸如 SoundHound 之类的音乐识别应用程序分析了人工智能执行的此类作品,能够以 86% 左右的准确率识别音乐片段。 相比之下,当这个应用程序分析原始钢琴音频时,它的识别准确率上升到了 93%。