超越Fisher内核

一段时间以来，Fisher Kernels似乎很受欢迎，因为它们似乎是一种根据概率模型构造核的方法。但是，我很少见到它们在实践中使用过，而且我有很好的权威，认为它们往往效果不佳。他们依靠Fisher信息的计算-引用Wikipedia：

Fisher信息相对于f的自然对数θ是二阶导数期望值的负值。信息可以看作是支持曲线的“曲率”在θ的最大似然估计（MLE）附近的度量。

据我所知，这意味着两点之间的核函数就是沿着该曲面的距离-是吗？

但是，这对于在内核方法中使用可能会有问题，因为

1. 对于给定的模型，MLE可能是非常糟糕的估计
2. MLE周围的支撑曲线的曲率可能无法用于区分实例，例如，如果似然表面非常尖
3. 这似乎抛弃了有关模型的许多信息

如果是这样的话，还有没有更多现代的方法可以从概率方法构造内核？例如，我们可以使用保留集以相同的方式使用MAP估算吗？与概率方法的距离或相似度还有哪些其他概念可以用来构造（有效）内核函数？

您提出的三个问题是正确的，您的解释是正确的。

人们已经考虑了从概率模型构建内核的其他方向：

• Moreno等。建议Kullback-Leibler，尽管当我阅读此问题时回头看这个问题时，还不能很好地理解Mercer的条件。

• Jebara等。在分布空间中提出内积。本文听起来很像您所追求的：您可以在此处下载。

我读过一段时间（2008年），不确定过去几年该领域的发展情况。

还有一些非概率的方法可以做到这一点。生物信息学领域的人们已经在字符串空间等方面研究了动态编程类型的事物。这些东西并不总是PSD，并且有其自身的问题。