高斯过程模型的主要优点


11

高斯过程已被广泛使用,尤其是在仿真中。已知计算需求很高()。0(n3)

  1. 是什么使它们受欢迎?
  2. 它们的主要优势和隐藏优势是什么?
  3. 为什么使用它们代替参数模型(按参数模型,我指的是典型的线性回归,其中可以使用不同的参数形式来描述输入与输出趋势;例如qaudratic)?

我真的很感谢一个技术性的答案,它解释了使高斯过程独特且有利的内在属性。


您能否阐明参数模型的含义?
Alexey Zaytsev

@Alexey我已经澄清了上面的参数模型的含义。谢谢您
2016年

根据我对参数模型的假设,您需要为每个问题手动指定模型。这并不总是可能的,因为并不总是知道真实的本性。此外,对这些模型进行拟合可能会有困难,而对于高斯过程,参数估计几乎每次都能很好地工作。
Alexey Zaytsev 2016年

4
样条曲线和线性回归等效于选择了适当协方差函数的高斯过程回归。但是高斯过程提供了一个方便的概率框架,非常适合许多任务。
Alexey Zaytsev 2016年

1
什么时候不使用高斯过程?
Alby

Answers:


6

工程的角度来看,主要优点是(如@Alexey所述)。在广泛使用的Kriging过程中,您可以根据距离和方向提供“相关”(或协方差)模型(通常称为“ 变异图椭球”)来解释自己的“空间” 。

没有什么可以阻止其他方法具有相同的功能,恰好是克里金法最初被概念化的方式对不是统计学家的人们具有友好的态度。

如今,随着基于地统计学的随机方法(例如顺序高斯模拟)的兴起,这些程序正被用于定义不确定性空间(可能需要成千上万个维度)的领域。再次,从工程学的角度来看,基于地统计学的算法非常容易包含在遗传编程中。因此,当您遇到逆向问题时,您需要能够测试多个场景并测试它们对优化功能的适应性。

让我们暂时将纯粹的论点留出一个状态,以说明此用法的现代真实示例。您可以直接采样地下样本(硬数据),也可以制作地下地震图(软数据)。

在硬数据中,您可以直接测量特性(比如说声阻抗),而不会出现(ish)误差。问题在于这是稀缺的(而且昂贵)。另一方面,您具有地震映射,该映射实际上是地下像素的体积图,但没有给您声阻抗。为了简单起见,假设它给您两个声阻抗值(顶部和底部)之间的比率。因此,比率0.5可以除以1000/2000或10000/20000。这是一个多重解决方案空间,可以使用几种组合,但是只有一种可以准确地表示现实。您如何解决呢?

顺便地震反演作品(随机过程)是通过产生合理的(这是另一个故事一起)的声阻抗(或其它性质)的情况下,变换这些情景到合成地震(如在前面的例子中的比率)和将合成地震与真实地震(相关)进行比较。最佳方案将用于产生更多方案,并融合成一个解决方案(这并不像看起来那样容易)。

考虑到这一点并从可用性的角度来讲,我将通过以下方式回答您的问题:

1) 使它们受欢迎的原因是可用性,实现的灵活性,大量的研究中心和机构,它们不断为多个不同领域(尤其是在地球科学中,包括GIS)制定更新且更适应高斯的程序。

2) 从我的角度来看,主要优势是如上所述的可用性和灵活性。如果它易于操作且易于使用,那就去做吧。高斯过程中没有没有其他方法(统计或其他方法)无法重现的特殊功能。

3) 您需要在模型中包含的信息不仅仅包括数据时,可以使用它们(信息具有空间关系,统计分布等等)。我可以保证,如果使用克里金法,如果您有大量具有各向同性行为的数据,那是在浪费时间。您可以使用其他任何方法获得相同的结果,而这些方法所需的信息更少,运行速度更快。


什么时候是另一个更好的选择?

1
@Ben始终取决于案例研究。克里格法或基于克里格法的方法具有很高的计算成本(因此,不是很快)。例如,现代4k(或更高)电视使用插值方法来尝试和改进为较小分辨率而制作的内容。这意味着它需要快速且无需用户干预(协方差模型将需要)来执行此操作。如果我要解决这个特定的问题,我将完全避免使用克里格。此外,某些现象是基于模式的,或者具有离散变量,或者可以简化为公式(例如,FEM)等等……
armatita

当速度不重要时?

如果不需要立即得出结果,则@Ben Speed不太重要。地下建模,天气预报和GIS科学中的一系列操作只是一些示例。另一个是答案中提出的(地震反演)。
armatita

对不起,没听懂。无论计算速度还是结果速度都不重要,GP的缺点是什么?或者换句话说:不应该更频繁地使用它吗?

7

对于工程师而言,重要的是:

  • 具有预测的置信区间
  • 内插训练数据
  • 具有平滑和非线性的模型
  • 将获得的回归模型用于实验和优化的自适应设计

高斯过程满足所有这些要求。

此外,工程数据和地统计数据集通常不大或具有特定的网格结构,可以快速推断。


1
感谢您的评论 。似乎由于其贝叶斯解释,高斯过程模型可以具有良好的不确定性量化,但是在参数回归中这也是可能的。我正在寻找一种可以解释统计优势的技术方法
Wis 16'Apr

3

高斯模型的优势。

高斯PDF仅取决于其一阶和二阶矩。广义的平稳高斯过程也是严格意义上的平稳过程,反之亦然。

高斯PDF可以对许多过程的分布进行建模,包括一些重要的信号和噪声类别。许多独立随机过程的总和具有高斯分布(中心极限定理)。

非高斯过程可以通过适当均值和方差的多个高斯pdf的加权组合(即混合物)来近似。

基于高斯模型的最优估计方法通常会导致线性和数学上易处理的解决方案。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.