检测歌曲的一部分


9

希望这不是太主观...

无论音乐风格如何,我都在寻找某种方向来检测歌曲的不同“部分”。我不知道在哪里看,但是相信其他StackOverflow网站的强大功能,我认为这里有人可以帮助您指明方向。

用最基本的术语来说,只要将连续的重复模式分组并将其称为“部分”,就可以检测到歌曲的不同部分。这可能并不那么难-即使有很小的变化,计算机也可以很好地检测信号的重复。

但是,“部分”重叠时却很难,就像大多数音乐中那样。

很难说哪种音乐最适合这种系统。我猜想大多数古典风格的交响音乐都将最容易处理。

关于在该领域寻找研究的任何想法?


我认为有一个iPhone应用程序可以从片段记录中识别歌曲。而且我认为有一篇文章介绍了此应用。抱歉,我没有链接,但我将从此开始。
mpiktas

1
@mpiktas:您可能是指诸如SoundHoundShazam之类的应用。有一个白皮书上的Shazam是如何工作的,虽然它没有去过多赘述。尽管我不确定这是否是OP所需要的,但这可能是一个很好的起点。
nico

有关Shazam的简短博客文章(我相信基于白皮书),还可以尝试laplacian.wordpress.com/2009/01/10/how-shazam-works
raegtin 2011年

Answers:


6

我不是信号处理方面的专家,但是我对音乐理论了解很多。相反,我想说古典音乐可能是用简单的数学方法来分析最困难的音乐。最好从更简单,更重复的内容开始,例如流行音乐或电子音乐。流行音乐通常具有韵律合唱韵律...等格式,这可能有助于简化目标。

尝试对数据使用傅立叶变换,将其分解为最突出的构成频率,可能在不同的小节中按层次划分。特别是,您可以根据想要对数据的“部分”进行分组的方式来寻找不同的事物。

  1. 流行音乐中最慢的振荡可能是诗句和合唱之间的转换,然后再回到诗句(也许每分钟0.75振荡?)。

  2. 接下来,您可能会发现在和弦进行过程中,即在每首完整的乐曲中,出现较高频率的振荡(也许每分钟约6次振荡?)。

  3. 我认为下一个最高频率将是一个小节内的一个小节(也许每分钟约24次振荡?),在这种小节中,流行音乐/民间音乐中经常会反复出现弹奏模式和歌词的共鸣。

  4. 深入了解血腥细节,接下来,您将发现在音乐的每个小节中重复出现的节拍和节奏。挑选并隔离其中之一(可能每分钟148次振荡/节拍?)可能会产生低音鼓踢,牛铃击打或类似次序。

  5. 在节拍和音调之间的某个位置,您可能会发现音乐的快速风格元素,例如电吉他上的速度/扫弦选择或快速的人声敲击节奏。(我不知道这些速度有多快,但我猜想每分钟大约有1000拍或更多)。

  6. 最后,音调和音色的元素很快,而且可能是最复杂的。我知道“中间A”音符被标准化为440 Hz,即每秒钟440次振荡。我敢肯定,有基于音质和音色来区分哪种技术的技术。甚至有相当好的算法可以检测人声。但是就像我说的,我不是信号处理专家。


6

通常使用MPEG7描述符来描述音乐,并使用一些其他内容(如MFCC)来计算,这些MFCC是通过某些移动窗口方法(例如,您具有一定的窗口大小和跳数,从放置在声音开头的窗口开始,计算出窗口上的描述符,然后逐跳移动并重复直到到达终点为止。
这样一来,一块就变成了一张桌子。在您的情况下,它可以用于在块上应用一些聚类,从而检测那些“部分”。


现在更喜欢它!好的技术答案。
机器渴望

5

从各种各样的角度来看,关于这个主题有很多不同的方法和大量文献。这里有一些亮点,可能是您搜索的良好起点。

如果您的音乐背景比数学或计算领域更具有音乐性,那么您可能会对David Cope的作品感兴趣,他出版的大部分作品都集中在古典音乐作品的分析上,但是他拥有一家名为重组的私人企业,似乎更为笼统。他的许多作品都将音乐作为一种语言类型模型,但我相信至少他的一些最新作品已朝着整个音乐基因组的方向发展。他在线上有很多可用软件,但是它通常是用Lisp编写的,有些只能在Apple操作系统的各种版本中运行,尽管有些可以在Linux 上运行,也可以在可以使用通用Lisp的任何地方运行。

通常,信号和音乐的分析一直是机器学习中非常普遍的问题。Christopher Bishop的文本神经网络用于模式识别模式识别以及机器学习有很好的入门知识是一个MSc论文的示例,该论文具有音乐分类部分,但是对特征提取有很好的覆盖,作者引用了至少Bishop文本之一和其他几种来源。他还为有关该主题的最新论文推荐了几种资源

更具数学或统计意义的书籍(至少按作者身份(如果不按内容)):

自从我提到Bishop和机器学习的计算角度以来,如果我不建议您看一看Hastie的最新统计学习元素(可免费从法律下载),那么我只会讲一半的故事。,蒂布希拉尼(Tibshirani)和弗里德曼(Friedman)。我不记得本文中具体有一个音频处理示例,但是涉及的许多方法都可以适应此问题。

扬·伯兰(Jan Beran)的《音乐学统计学》(Statistics in Musicology)是另一本值得考虑的文章。这提供了许多专门用于音乐作品分析的统计工具,并且具有大量参考资料。

同样,还有许多其他来源。这在很大程度上取决于您的背景是什么,以及哪种方法最适合您。希望其中至少有一些可以引导您寻找答案。如果您告诉我们更多有关您的背景知识,有关该问题的其他详细信息,或针对此帖子提出问题,我相信我或此处的许多其他人很乐意将您引导至更具体的信息。祝你好运!


4

这不是一个很好的答案,但是有两个需要研究的地方:

国际音乐信息检索学会(International Society for Music Information Retrieval)上有大量关于该主题的已发表论文,令人惊讶的是有多少信息www.ismir.net

&Echo Nest(使用API​​进行类似工作的初创公司)echonest.com

更新:他们还发布了一些开源指纹识别代码。 http://echoprint.me/


0

我对类似的问题感兴趣。这是解决方案。所谓的景观图不是那么古老的科学建议。有关详细信息,请参见本文(看起来不错)。

另外,我建议您也访问作者的网站,因为音乐中有很多类似的统计应用。在搜索其他类似来源时,建议使用包含类似区域的术语“ 音乐信息检索”

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.