Questions tagged «gaussian-process»

我刚刚开始阅读有关GP的信息，类似于正则高斯分布，它的特征在于均值函数和协方差函数或内核。我在一次演讲中，发言人说，平均值函数通常很有趣，所有推理工作都花在了估计正确的协方差函数上。 有人可以向我解释为什么会这样吗？

28 gaussian-process 

我有点困惑。为什么高斯过程称为非参数模型？ 他们确实假设函数值或其子集具有高斯先验，均值0，协方差函数作为内核函数给出。这些内核函数本身具有一些参数（即，超参数）。 那么为什么将它们称为非参数模型呢？

26 nonparametric  gaussian-process 

贝叶斯方法不会过拟合是真的吗？（我看到了一些论文和教程对此提出了要求） 例如，如果我们对MNIST（手写数字分类）应用高斯过程，但仅将其显示为单个样本，那么对于与该单个样本不同的任何输入，无论差异有多小，它都会恢复到先前的分布吗？

25 bayesian  nonparametric  gaussian-process  overfitting  misspecification 

我一直在阅读Maraun等人的文章《小波域中的非平稳高斯过程：综合，估计和有效测试》（2007年），该类定义了可由小波域中的乘数指定的一类非平稳GP。这样一个GP的实现是： 其中是白噪声，是相对于小波的连续小波变换，是标度为且时间为的乘数（类似傅立叶系数），是重构小波小波逆变换。s （t ）= MHm （b ，a ）宽Gη（吨），s(t)=Mhm(b,a)Wgη(t), s(t) = M_h m(b,a) W_g \eta(t)\, , W g g m （b ，a ）a b M h hη（吨）η(t)\eta(t)w ^GWgW_gGggm （b ，a ）m(b,a)m(b,a)一种aabbb中号HMhM_hHhh 本文的一个关键结果是，如果乘数仅缓慢变化，则实现本身仅是“弱”依赖于和的实际选择。因此，指定了过程。他们继续创建一些重要的测试，以帮助根据实现推断小波乘数。g h m （b ，a ）m （b ，a ）m(b,a)m(b,a)GggHhhm （b ，a ）m(b,a)m(b,a) 两个问题： 1.我们如何评价标准GP可能性是？p （D ）= N（0 ，ķ）p(D)=N(0,K)p(D) = \mathcal{N}(0,K) …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

Matérn协方差函数通常在高斯过程中用作核函数。像这样定义 Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} 其中是距离函数（例如欧几里得距离），是伽马函数，是第二种修改的Bessel函数，和是正参数。实际上，有很多时间被选择为或。Γ ķ ν ρ ν ν 3dddΓΓ\GammaKνKνK_\nuρρ\rhoνν\nuνν\nu 53232\frac{3}{2}5252\frac{5}{2} 很多时候，该内核比“标准高斯”内核更好，因为它“不那么平滑”，但是除此之外，还有其他原因为什么人们更喜欢这种内核？对其表达方式的某些几何直觉，或对看似神秘的公式的某种解释，将受到高度赞赏。

19 spatial  gaussian-process  kernel-trick 

去年在NIPS 2017上，阿里·拉希米（Ali Rahimi）和本·雷赫特（Ben Recht）的论文“大型内核机器的随机特征” 获得了时间测试奖，他们引入了随机特征，后来被编纂为随机厨房水槽算法。作为公开发表论文的一部分，他们表明可以在5行Matlab中实现他们的模型。 % Approximates Gaussian Process regression % with Gaussian kernel of variance gamma^2 % lambda: regularization parameter % dataset: X is dxN, y is 1xN % test: xtest is dx1 % D: dimensionality of random feature % training w = randn(D,d); b = 2 * pi …

18 machine-learning  svm  gaussian-process  approximation 

注：用了一个月后，没有正确的答案，我要重新发布SO 背景 我有一个模型fff，其中Y=f(X)Y=f(X)Y=f(\textbf{X}) 是来自 m个参数的样本的 n × m矩阵， Y是模型输出的 n × 1向量。XX\textbf{X}n×mn×mn \times mmmmYYYn×1n×1n \times 1 是计算密集型的，因此我想使用多变量三次样条曲线通过（X ，Y ）点来近似 f，以便可以在更多点上评估 Y。ffffff(X,Y)(X,Y)(X,Y)YYY 题 是否有R函数可以计算X和Y之间的任意关系？ 具体来说，我正在寻找该splinefun函数的多元版本，该版本针对单变量情况生成样条函数。 例如这是 splinefun单变量情况下的工作方式 x <- 1:10 y <- runif(10) foo <- splinefun(x,y) foo(1:10) #returns y, as example all(y == foo(1:10)) ## TRUE 我尝试过的 我已经审查了mda软件包，并且似乎应该可以进行以下操作： library(mda) x <- …

17 r  multivariate-analysis  splines  interpolation  gaussian-process 

我正在学习高斯过程，只听过一点点的内容。非常感谢您提出意见和答案。 对于任何数据集，高斯过程函数逼近在数据点处给出零或可忽略的拟合误差是真的吗？在另一个地方，我还听说过高斯过程对于嘈杂的数据特别有用。这似乎与任何观察到的数据的低拟合误差相冲突？ 此外，离数据点越远，不确定性就越大（协方差更大）。如果是这样，它的行为是否类似于本地模型（RBF等）？ 最后，是否有任何通用逼近性质？

16 gaussian-process 

我正在阅读CE Rasmussen和CKI Williams 的教科书《高斯机器学习过程》，并且在理解函数分布的含义时遇到了一些麻烦。在教科书中，给出了一个示例，该示例将一个函数想象为一个很长的向量（实际上，它应该无限长吗？）。因此，我认为函数上的分布是这样的矢量值“上方”绘制的概率分布。那么函数是否有可能采用该特定值呢？还是函数将采用给定范围内的值的可能性？还是在函数上分配是分配给整个函数的概率？ 从教科书中引用： 第1章：简介，第2页 高斯过程是对高斯概率分布的概括。概率分布描述的是标量或向量的随机变量（对于多元分布），而随机过程控制函数的属性。抛开数学的复杂性，人们可以松散地将函数视为一个很长的向量，向量中的每个条目都在特定输入x处指定函数值f（x）。事实证明，尽管这个想法有些天真，但却令人惊讶地接近了我们所需要的。确实，我们如何在计算上处理这些无限维对象的问题具有可以想象到的最令人愉悦的分辨率：如果仅要求函数在有限数量的点上的属性， 第2章：回归，第7页 有几种解释高斯过程（GP）回归模型的方法。可以认为高斯过程定义了函数的分布，并且推理直接在函数空间即函数空间视图中进行。 从最初的问题： 我拍了这张概念图，试图自己想象一下。我不确定我自己所做的解释是否正确。 更新后： 在回答Gijs之后，我将图片更新为概念上更像这样的东西：

15 distributions  gaussian-process 

我知道高斯过程回归（GPR）是使用样条曲线拟合弹性非线性模型的替代方法。我想知道哪种情况比另一种情况更合适，尤其是在贝叶斯回归框架中。 我已经看过使用样条线，平滑样条线和高斯过程仿真器的优点/缺点是什么？但这篇文章中似乎没有关于GPR的任何内容。

15 regression  gaussian-process  splines  kriging 

人们常说，高斯过程回归（GPR）对应于（可能）无限数量基函数的贝叶斯线性回归。我目前正在尝试详细了解这一点，以直观了解我可以使用GPR表示哪种模型。 您是否认为这是理解GPR的好方法？ 在书高斯过程机器学习拉斯穆森和Williams显示该组高斯过程的描述由参数化指数平方内核ķ （X ，X′; l ）= σ2p经验值（ -（x - x ）22 升2）ķ（X，X′;升）=σp2经验值⁡（-（X-X）22升2）k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)可以等价描述为与现有信念贝叶斯回归瓦特〜Ñ（0 ，σ2p一世）w〜ñ（0，σp2一世）w \sim \mathcal{N}(0,\sigma_p^2 I)上的权重和的形式的基础函数的无限量ϕC（x ; l ）= 经验值（ - （x - c ）22 升2）ϕC（X;升）=经验值⁡（-（X-C）22升2）\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right) 因此，内核的参数化可以完全转换为基本函数的参数化。 是否可以将可微内核的参数化始终转换为先验函数和基本函数的参数化，或者是否存在可微内核，例如，基本函数的数量取决于组态？ 我的理解至今是，对于一个固定的内核函数K（X，X'）Mercer的定理告诉我们，可以表示为ķ （X ，X '）= ∞ ＆Sigma;我= 1 λ 我φ 我（X ）φ 我（X '） 其中，φ 我是一个函数要么到实数或复数。因此，对于给定的内核，相应的贝叶斯回归模型具有先验〜ķ （X ，X′）ķ（X，X′）k(x,x')ķ （X ，X′）= ∑我= …

14 gaussian-process  kernel-trick  basis-function 

Kullback-Leibler散度是用于比较两个概率密度函数的度量，但是使用什么度量来比较两个GP的和？X XXÿYY

14 gaussian-process  metric 

我正在尝试调整已实现的高斯过程回归算法的超参数。我只是想最大化由公式 ，其中K是与元素K_ {ij} = k（x_i，x_j）= b ^ {-1} \ exp（-\ frac {1} {2}（x_i-x_j）^ TM（x_i-x_j））+ a ^ {-1 } \ delta_ {ij}其中M = lI，而a，b和l是超参数。ķķ我Ĵ=ķ（X我，XĴ）=b-1个EXP（-1日志（y | X，θ）= − 12ÿŤķ− 1ÿy − 12日志（det （K））− n2日志（2 π）日志⁡（ÿ|X，θ）=-1个2ÿŤķÿ-1个ÿ-1个2日志⁡（t（ķ））-ñ2日志⁡（2π）\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)ķķK中号=升我一个，b升ķ我Ĵ= k （x一世，XĴ）= b− 1经验值（− 12（x一世− xĴ）Ť中号（x一世− xĴ））+ 一个− 1δ我Ĵķ一世Ĵ=ķ（X一世，XĴ）=b-1个经验值⁡（-1个2（X一世-XĴ）Ť中号（X一世-XĴ））+一种-1个δ一世ĴK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}中号= 升余中号=升一世M=lI一，b一种，ba,b升升l 对数边际似然率wrt参数的偏导数由以下日志（y | X，θ）dθ= 12吨ř 一个Ç ë（ …

13 regression  optimization  gaussian-process  hyperparameter 

有没有一种方法可以使用GPML对多维输出（可能是相关的）执行高斯过程回归？ 在演示脚本中， 我只能找到一维示例。 关于CV 的类似问题，涉及多维输入的情况。 我浏览了他们的书，看看是否能找到任何东西。在本书的第9章（第9.1节）中，他们提到了这种多输出的情况。他们提到了几种解决方法，一种是使用相关的噪声处理，另一种是使用Cokriging（相关的先验）。 我还是不知道如何将所有这些想法整合到GPML框架中。 另外，还有其他支持多维输出的GP库/框架吗？

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

我对高斯过程的好处感到困惑。我的意思是将其与简单的线性回归进行比较，在线性回归中我们定义了线性函数对数据进行建模。 但是，在高斯过程中，我们定义函数的分布意味着我们没有明确定义函数应该是线性的。我们可以定义先于函数的先验，即先验高斯先验，先验先验定义一些特征，例如函数应具有的平滑程度以及全部。 因此，我们不必明确定义模型应该是什么。但是，我有疑问。我们确实有边际可能性，使用它可以调整高斯先验的协方差函数参数。因此，这类似于定义不是应该的功能类型。 归结为定义参数的同一件事，即使在GP中它们是超参数。例如在本文中。他们定义GP的均值函数类似于 m （x ）= a x2+ b x + c即二阶多项式。m(x)=ax2+bx+ci.e. a second order polynomial.m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.} 因此，肯定是定义了模型/功能，不是吗。那么像LR中那样将函数定义为线性有什么区别。 我只是没有获得使用GP的好处

13 gaussian-process