什么是功能分配?


15

我正在阅读CE Rasmussen和CKI Williams 的教科书《高斯机器学习过程》,并且在理解函数分布的含义时遇到了一些麻烦。在教科书中,给出了一个示例,该示例将一个函数想象为一个很长的向量(实际上,它应该无限长吗?)。因此,我认为函数上的分布是这样的矢量值“上方”绘制的概率分布。那么函数是否有可能采用该特定值呢?还是函数将采用给定范围内的值的可能性?还是在函数上分配是分配给整个函数的概率?

从教科书中引用:

第1章:简介,第2页

高斯过程是对高斯概率分布的概括。概率分布描述的是标量或向量的随机变量(对于多元分布),而随机过程控制函数的属性。抛开数学的复杂性,人们可以松散地将函数视为一个很长的向量,向量中的每个条目都在特定输入x处指定函数值f(x)。事实证明,尽管这个想法有些天真,但却令人惊讶地接近了我们所需要的。确实,我们如何在计算上处理这些无限维对象的问题具有可以想象到的最令人愉悦的分辨率:如果仅要求函数在有限数量的点上的属性,

第2章:回归,第7页

有几种解释高斯过程(GP)回归模型的方法。可以认为高斯过程定义了函数分布,并且推理直接在函数空间即函数空间视图中进行。


从最初的问题:

我拍了这张概念图,试图自己想象一下。我不确定我自己所做的解释是否正确。

在此处输入图片说明


更新后:

在回答Gijs之后,我将图片更新为概念上更像这样的东西:

在此处输入图片说明


3
请查看此内容以获得直观的解释jgoertler.com/visual-exploration-gaussian-processes
bicepjai

Answers:


11

这个概念比通常的发行版本更抽象。问题是我们习惯了R上的分布的概念(通常显示为一条线),然后将其扩展到表面R2,依此类推,得出R上的分布。Rn。但是函数的空间不能表示为正方形,直线或向量。像您这样想,不是犯罪,但是在Rn中起作用的理论与距离,邻域等(这被称为空间的拓扑)有关,在 R n中并不相同。功能空间。因此,将其绘制为正方形会给您关于该空间的错误直觉。

您可以简单地将功能空间视为大量功能集合,如果可以的话,也可以考虑一堆东西。然后,这里的分布为您提供了绘制这些东西的子集的可能性。分布将说:您的(函数)下一次绘制在此子集中的概率为10%。对于二维函数的高斯过程,您可能会问,给定一个- x坐标和一个间隔y-values,这是一条小的垂直线段,(随机)函数通过这条小线的概率是多少?这将是一个积极的可能性。因此,高斯过程指定了函数空间上的(概率)分布。在此示例中,功能空间的子集是穿过线段的子集。

此处另一个令人困惑的命名约定是,分布通常由密度函数指定R


1
谢谢,因此要澄清一下,这不是一个函数值的分布,而是一个函数集合的分布,对吗?我还有一个问题:您已经说过,这是随机函数将通过特定间隔的概率,因此在GPR的示例中,它将是随机函数,但来自于以下函数给出的特定“族”协方差内核?
camillejr

2
是的,它是功能集合的分布。如果您具有高斯过程,则通过间隔的示例适用。协方差内核实际上将指定一个高斯过程。因此,如果您知道协方差内核,则可以计算随机函数通过特定间隔的概率。
Gijs

@Gijs请你看看这个,我找对协方差矩阵的直觉,以及如何不同的相关条款还导致从GP输出相似
GENIVI学习者

14

您的问题已经在Mathematics SE网站上提出并得到了很好的回答:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

听起来您不熟悉 高维测度在无限维空间,线性函数,前推测度等上的应用,因此我将尝试使其尽可能简单。

L2([0,1])I=[0,1]RRnL2

但是,还有一个基于Kolmogorov扩展定理的简单“技巧” ,基本上,这是在大多数不十分注重度量理论的概率过程中引入随机过程的方式。现在,我将变得非常手工和不严格,将自己限制在高斯过程的情况下。如果您需要更一般的定义,则可以阅读上面的答案或查找Wikipedia链接。适用于您的特定用例的Kolmogorov扩展定理或多或少说明以下内容:

  • Sn={t1,,tn}Ixn=(x(t1),,x(tn))
  • Sn,Sm,SnSmfSn(x1,,xn)fSm(x1,,xn,xn+1,,xm)fSmSmSnfSn

Rnm+1fSm(x1,,xn,xn+1,,xm)dxn+1dxm=fSn(x1,,xn)

  • XL2Snn

实际的定理要广泛得多,但是我想这就是您要寻找的。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.