Matérn协方差函数的原理是什么？

19

Matérn协方差函数通常在高斯过程中用作核函数。像这样定义

C_{ν} (d) = σ^{2} \frac{2^{1 - ν}}{Γ (ν)} (\sqrt{2 ν} \frac{d}{ρ})^{ν} K_{ν} (\sqrt{2 ν} \frac{d}{ρ})

$C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}$

其中是距离函数（例如欧几里得距离），是伽马函数，是第二种修改的Bessel函数，和是正参数。实际上，有很多时间被选择为或。 $d$ $\Gamma$ $K_\nu$ $\rho$ $\nu$ $\nu$ $\frac{3}{2}$ $\frac{5}{2}$

很多时候，该内核比“标准高斯”内核更好，因为它“不那么平滑”，但是除此之外，还有其他原因为什么人们更喜欢这种内核？对其表达方式的某些几何直觉，或对看似神秘的公式的某种解释，将受到高度赞赏。

spatial gaussian-process kernel-trick

— 浩池江
source

18

除了@DahnJahn好的答案外，我想我想再说一下Bessel和gamma函数的来源。达到协方差函数的一个起点是Bochner定理。

定理（波切内尔）的连续静止的函数 $k(x, y) = \widetilde{k}(|x − y|)$ 是正定的，当且仅当 $\widetilde{k}$ 被傅立叶变换的有限正措施：
$\tilde{k} (t) = \int_{R} e^{- i ω t} d µ (ω)$ $\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$

由此可以推断出Matérn协方差矩阵是傅里叶变换（源）。很好，但这并不能真正告诉我们您如何达到给出的有限正度量。好吧，这是随机过程的（功率）频谱密度。 $\frac{1}{(1+\omega^2)^p}$ $\frac{1}{(1+\omega^2)^p}$ $f(x)$

哪个随机过程？已知具有Matérn协方差函数的随机过程是随机偏微分方程（SPDE）其中是具有单位方差的高斯白噪声，是Laplace运算符，并且（我认为这是在Cressie和Wikle中）。 $\mathbb{R}^d$

(κ^{2} - ∆)^{α / 2} X (s) = φ W (s),

$(κ^2 − ∆)^{α/2} X(s) = φW(s),$

W (s)

$W(s)$

Δ = \sum_{i = 1}^{d} \frac{\partial^{2}}{\partial x_{i}^{2}}

$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$

α = ν + d / 2

$α =ν + d/2$

为什么选择这种特殊的SPDE /随机过程？起源是在空间统计中，它被认为是最简单和自然的协方差，在中效果很好： $\mathbb{R}^2$

指数相关函数在一维上是自然相关，因为它对应于马尔可夫过程。尽管在地统计工作中指数是常见的相关函数，但在二维中这已不再是。Whittle（1954）确定了与拉普拉斯类型的随机微分方程相对应的相关性：

$[{(\frac{\partial}{\partial t_{1}})}^{2} + {(\frac{\partial}{\partial t_{2}})}^{2} - κ^{2}] X (t_{1}, t_{2}) = ϵ (t_{1}, t_{2})$ $\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$ 其中是白噪声。相应的离散晶格过程是二阶自回归。（资源） $\epsilon$

与Matern方程关联的SDE中包括的过程族包括经历布朗运动的粒子速度的 Ornstein-Uhlenbeck模型。更一般地，您可以为每个具有pMatérn族协方差的整数定义过程族的功率谱。这在拉斯穆森和威廉姆斯的附录中。 $AR(1)$ $AR(p)$ $p$

此协方差函数与Matérn聚类过程无关。

参考文献

Cressie，Noel和Christopher K.Wikle。时空数据的统计信息。约翰·威利父子（John Wiley＆Sons），2015年。

Guttorp，Peter和Tilmann Gneiting。“概率统计历史研究XLIX关于Matern相关族。” Biometrika 93.4（2006）：989-995。

CE的Rasmussen和CKI高斯机器学习过程的Williams。麻省理工学院出版社，2006年。

— 机器
source

2

在一维情况下，具有形状Matern协方差与的正整数是连续时间自回归过程的那顺序的。但是，并非所有模型都具有Matern协方差。

ν = p - 1 / 2

$\nu = p - 1/2$

p

$p$

CAR (p)

$\text{CAR}(p)$

p

$p$

CAR (p)

$\text{CAR}(p)$

— 伊夫

就我而言，这是一个明显的误解，我将更新答案。谢谢！

— MachineEpsilon

16

我不知道，但是我发现这个问题非常有趣，这是我经过一番阅读后得到的。

对于某些值，可以将 Matérn协方差函数表示为指数和多项式的乘积。例如：因此，当，实际上收敛于高斯RBF：对于，Matérn协方差函数给出绝对指数内核 $\nu$ $\nu = 5/2$

C_{5 / 2} (d) = σ^{2} (1 + \frac{\sqrt{5} d}{ρ} + \frac{5 d^{2}}{3 ρ^{2}}) \exp (- \frac{\sqrt{5} d}{ρ})

$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$

ν \to \infty

$\nu \to \infty$

C_{ν}

$C_\nu$

lim_{ν \to \infty} C_{ν} (d) = σ^{2} \exp (- \frac{d^{2}}{2 ρ^{2}})

$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$

ν = 1 / 2

$\nu = 1/2$

C_{1 / 2} (d) = σ^{2} \exp (- \frac{d}{ρ})

$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$

此外，具有参数的Matérn协方差函数的高斯过程是微的。 $\nu$ $\lceil \nu \rceil -1$

从Rasmussen＆Williams（2006）拍摄的照片中可以很好地证明这一点。

在空间数据插值中，斯坦因（他实际上提出了Matérn协方差函数的名称）认为（第30页），高斯协方差函数的无穷微分对物理过程产生了不切实际的结果，因为只观察了一小部分连续的理论上，时空应该产生整个功能。因此，他提出了Matérn版本作为一种概括，可以更实际地匹配物理过程。

摘要

Matérn协方差函数可以看作是高斯径向基函数的推广。它甚至包含绝对指数内核，它给出了截然不同的结果，并且由于其有限的可微性（对于有限），因此能够更好地捕获物理过程。 $\nu$

至于贝塞尔函数外观的神秘性，我希望看到其背后的进一步直觉，但我想正是因为（渐近）行为使其在这种情况下有用，并导致斯坦因定义Matérn协方差函数。当然，这并不排除就所有理由为何都是正确的观点进行辩论的可能性。 $\nu$

— 达恩
source

1

（+1）我很好奇在Matérn的书pub.epsilon.slu.se/10033/1/中是否对此协方差函数进行了解释或推导？到目前为止，我找不到它。这个协方差函数似乎在Stein的书中占有非常重要的位置，所以我很想知道更多。

— MachineEpsilon

@MachineepsilonMatérn是否真的提到/定义了功能？斯坦因的书给我的感觉是，他是那个提出来的人，只以马特恩命名。

— Dahn

我不确定，这就是我想要找出的！我会尝试看看的，因为Rasmussen也参考了这本书。

— MachineEpsilon