在实际录制中无法通过FastICA分离声音信号


12

我已经编写了一个程序,使用Python MDP FastICA示例上的代码在立体声WAV文件上执行FastICA。

通过音频示例,我得到了很好的结果。

然后,我尝试通过将麦克风1连接到L通道,将麦克风2连接到R通道,使用连接到我电脑立体声麦克风的两个计算机单声道麦克风进行真实世界录音。在安静的房间里聊天时,我会在后台播放一些音乐进行测试。

但是,运行FastICA根本不会分离信号。麦克风的质量是否可能太差?在运行FastICA之前,我需要对记录的WAV文件(16位,有符号PCM,44100Hz)做任何事情吗?

您可以在此处下载录音。

Answers:


11

原始形式的ICA仅适用于相同步观测混合物。如您所述,使用麦克风会引起其他海报指出的相位延迟。然而,该相位延迟可以被利用。在存在延迟的情况下处理立体声分离的最著名算法是DUET。链接已断开,但您要查找的参考文献在此处> http://eleceng.ucd.ie/~srickard/bss.html。

您应该查找这篇论文>
A. Jourjine,S。Rickard和O. Yilmaz,不相交正交信号的盲分离:从2种混合物中混合N个信号源,IEEE声学,语音和信号处理会议(ICASSP2000),第5卷,第2985-2988页,土耳其伊斯坦布尔,2000年6月


2
一个问题-如果混合从多个空间分离的麦克风来......那么,我们怎样才能永远有相位同步......在所有我看到多个话筒的这个例子是遍使用,但如果文本相同步?这样的问题为什么不提及?我只是想在这里理解,我是ICA领域的新手。
Spacey

@Mohammad:我怀疑其他应用程序中存在相位同步,他们只是使用音频应用程序使读者更熟悉它。
endlith 2011年

1
@Mohammad间隔麦克风可以使一个信号源具有相位同步性。想象一个信号源是由两个等距放置在信号源两侧的麦克风捕获的。从信号源到麦克风的路径长度在每种情况下都是相同的,并且两个麦克风都将在同一个相位中接收信号,但仅限于该信号源。您可以沿不同的空间尺寸等距添加更多麦克风,以进一步抑制不需要的信号。一些EEG分析技术可以利用这一点。您还应该注意,每个麦克风之间的相位延迟将是频率的函数(由于波长)
Dan Barry

@DanBarry感谢Dan-关于EEG的有趣观点。让我澄清一下-我当然清楚地知道,如果传感器与信号源的距离相等,我们将得到相同的延迟... :-)我试图达到的目标是无法控制此类情况的应用((房间里有许多传感器),据说ICA在这种情况下可以工作-但在99%的情况下,我们将没有相位同步-如果在这种情况下,它被认为是一种有效的算法-但对这些相位问题很敏感-那么这里缺少什么?...谢谢!
Spacey

1
@endolith是的,这是一个不错的解决方案,并且有效!我也曾在2003年想到过类似的解决方案,但对找到类似的解决方案感到失望,但我的发现与我的发现有很大不同,因此我设法申请了专利。我很幸运能成为第一个在发展原来这里的2004年演示实时源分离算法返回> audioresearchgroup.com/main.php?page=Demos和改进后的新人们可以在行动中可以看出在视频演示此处> riffstation.com
丹·巴里

6

正如我在页面下方所说的那样:

事实证明,当信号在不同的传感器通道中以不同的延迟出现时,ICA实际上并不能很好地工作。它假定是瞬时混音(在所有不同的录音中信号彼此之间完全同步)。在实际情况下,表演者和麦克风发生延迟,因为每个信号源与每个麦克风的距离不同。

我猜想通道之间的这种延迟是原因。如果仔细观察这两个波形,您可能会发现某些声音在一个通道中的出现比另一个通道中的更快,其余的反之亦然。

为了证明这不是麦克风的质量,您可以尝试在一个不同的时间使用一个麦克风录制两个不同的信号,然后将它们混合在一起,以便每个通道中的每个信号中的一部分,然后看看在这种情况下ICA是否有效。


我试过了。正如您所建议的,这应该是一个延迟问题。通过混合单独的录音,FastICA产生几乎完美的结果。我需要找到一些方法来应对延迟
Jeremy

@杰里米:我想您需要一个不同的算法。
endlith 2011年

您知道有什么可以解决延迟的bss算法吗?
杰里米

实际上,当我录制并拍手以发出巨大的尖锐声音时,我听不到任何大胆的延迟。
杰里米

1
@endolith您可能是对的-一些新信息-我检查了脚注,很显然,我的书的作者确实说他假设所有信号都不会相对于彼此延迟。:-/换句话说,混合矩阵只是一个改变幅度的矩阵。嗯 现在更加混乱了。:-)
Spacey

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.