Questions tagged «kernel-trick»

执行主成分分析（PCA）之后，我想将一个新向量投影到PCA空间上（即在PCA坐标系中找到其坐标）。 我已经使用R计算了R语言的PCA prcomp。现在，我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

该核技巧在几个机器学习模型（如使用SVM）。它于1964年在“模式识别学习中势函数方法的理论基础”一书中首次引入。 维基百科的定义是 一种使用线性分类器算法通过将原始非线性观测值映射到高维空间来解决非线性问题的方法，随后使用线性分类器；这使得新空间中的线性分类等同于原始空间中的非线性分类。 已扩展到非线性问题的线性模型的一个示例是内核PCA。内核技巧可以应用于任何线性模型，还是有一定的限制？

20 machine-learning  kernel-trick 

Matérn协方差函数通常在高斯过程中用作核函数。像这样定义 Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} 其中是距离函数（例如欧几里得距离），是伽马函数，是第二种修改的Bessel函数，和是正参数。实际上，有很多时间被选择为或。Γ ķ ν ρ ν ν 3dddΓΓ\GammaKνKνK_\nuρρ\rhoνν\nuνν\nu 53232\frac{3}{2}5252\frac{5}{2} 很多时候，该内核比“标准高斯”内核更好，因为它“不那么平滑”，但是除此之外，还有其他原因为什么人们更喜欢这种内核？对其表达方式的某些几何直觉，或对看似神秘的公式的某种解释，将受到高度赞赏。

19 spatial  gaussian-process  kernel-trick 

使用高斯径向基函数（RBF）进行线性回归与使用高斯核进行线性回归之间有什么区别？

18 regression  normal-distribution  kernel-trick 

Primal，Dual和Kernel Ridge回归有什么区别？人们正在使用这三种方法，并且由于每个人在不同来源使用的概念不同，因此我很难理解。 那么有人可以用简单的话告诉我这三个之间有什么区别吗？此外，每种技术都有哪些优点或缺点，其复杂性又是什么？

18 regression  kernel-trick  ridge-regression 

我想在一篇使用内核SVD分解数据矩阵的论文中实现一种算法。因此，我一直在阅读有关内核方法和内核PCA等的材料。但是，对于我而言，尤其是在数学细节方面，它还是很晦涩的，我有几个问题。 为什么使用内核方法？或者，内核方法有什么好处？直观的目的是什么？ 是否假设与非内核方法相比，更高的维数空间在现实世界中的问题更现实，并且能够揭示数据中的非线性关系？根据材料，内核方法将数据投影到高维特征空间上，但是它们不必显式计算新的特征空间。相反，仅计算特征空间中所有数据对对的图像之间的内积就足够了。那么为什么要投影到更高维度的空间呢？ 相反，SVD减少了特征空间。他们为什么要朝不同的方向做？内核方法寻求更高维度，而SVD寻求更低维度。对我来说，将它们结合起来听起来很奇怪。根据我正在阅读的论文（Symeonidis等，2010），引入内核SVD而不是SVD可以解决数据中的稀疏性问题，从而改善结果。 从图中的比较中我们可以看到，KPCA得到的特征向量的方差（特征值）比PCA高。因为对于点在特征向量（新坐标）上的投影的最大差异，KPCA是一个圆，PCA是一条直线，所以KPCA的方差大于PCA。那么，这是否意味着KPCA的主成分要高于PCA？

18 pca  svd  kernel-trick 

如果在内核PCA中选择线性内核，结果是否会与普通的线性PCA不同？解决方案是否根本不同或存在某种定义明确的关系？K(x,y)=x⊤yK(x,y)=x⊤yK(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y

17 pca  kernel-trick 

我如何了解SVM中的RBF内核？我的意思是我理解数学，但是有什么办法可以感觉到何时该内核会有用吗？ 由于RBF包含矢量距离，因此kNN的结果是否与SVM / RBF有关？ 有没有一种方法可以了解多项式内核？我知道尺寸越高，它越摆动。但是我想了解一下内核的工作原理，而不是尝试所有可能的内核并选择最成功的内核。

17 svm  kernel-trick 

更多的是一个一般性的问题。我正在运行rbf SVM进行预测建模。我认为我当前的程序肯定需要加快速度。我使用scikit learning进行粗略到精细的网格搜索+交叉验证。 每次SVM运行大约需要一分钟，但是在所有迭代中，我仍然发现它太慢了。假设我最终在多个内核上对交叉验证部分进行了多线程处理，那么关于提高程序速度的建议是什么？是否有更快的SVM实现？我听说过一些GPU SVM，但并没有对其进行深入研究。任何用户，速度更快吗？

16 machine-learning  svm  predictive-models  scikit-learn  kernel-trick 

我试图了解内核SVM背后的直觉。现在，我了解了线性SVM的工作原理，通过决策线可以最大程度地分割数据。我也了解将数据移植到高维空间的原理，以及如何使在新空间中找到线性决策线变得更容易。我不了解的是如何使用内核将数据点投影到这个新空间。 我对内核的了解是，它有效地表示了两个数据点之间的“相似性”。但这与预测有何关系？

15 machine-learning  svm  kernel-trick 

人们常说，高斯过程回归（GPR）对应于（可能）无限数量基函数的贝叶斯线性回归。我目前正在尝试详细了解这一点，以直观了解我可以使用GPR表示哪种模型。 您是否认为这是理解GPR的好方法？ 在书高斯过程机器学习拉斯穆森和Williams显示该组高斯过程的描述由参数化指数平方内核ķ （X ，X′; l ）= σ2p经验值（ -（x - x ）22 升2）ķ（X，X′;升）=σp2经验值⁡（-（X-X）22升2）k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)可以等价描述为与现有信念贝叶斯回归瓦特〜Ñ（0 ，σ2p一世）w〜ñ（0，σp2一世）w \sim \mathcal{N}(0,\sigma_p^2 I)上的权重和的形式的基础函数的无限量ϕC（x ; l ）= 经验值（ - （x - c ）22 升2）ϕC（X;升）=经验值⁡（-（X-C）22升2）\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right) 因此，内核的参数化可以完全转换为基本函数的参数化。 是否可以将可微内核的参数化始终转换为先验函数和基本函数的参数化，或者是否存在可微内核，例如，基本函数的数量取决于组态？ 我的理解至今是，对于一个固定的内核函数K（X，X'）Mercer的定理告诉我们，可以表示为ķ （X ，X '）= ∞ ＆Sigma;我= 1 λ 我φ 我（X ）φ 我（X '） 其中，φ 我是一个函数要么到实数或复数。因此，对于给定的内核，相应的贝叶斯回归模型具有先验〜ķ （X ，X′）ķ（X，X′）k(x,x')ķ （X ，X′）= ∑我= …

14 gaussian-process  kernel-trick  basis-function 

如何证明为径向基函数不存在有限维特征空间这样对于某些我们有吗？k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})HHHΦ:Rn→HΦ:Rn→H\Phi: \text{R}^n \to Hk(x,y)=⟨Φ(x),Φ(y)⟩k(x,y)=⟨Φ(x),Φ(y)⟩k(x, y) = \langle \Phi(x), \Phi(y)\rangle

14 machine-learning  svm  kernel-trick 

我最近了解了内核技巧的用法，该技巧将数据映射到更高维度的空间，以尝试线性化那些维度中的数据。在任何情况下我都应避免使用此技术？仅仅是找到正确的内核功能的问题吗？ 对于线性数据，这当然无济于事，但对于非线性数据，这似乎总是有用的。就训练时间和可伸缩性而言，使用线性分类器比非线性分类器容易得多。

13 machine-learning  svm  kernel-trick  heuristic 

似乎有许多机器学习算法依赖于内核功能。SVM和NN仅举两个。那么，内核函数的定义是什么？对它起作用的要求是什么？

13 svm  terminology  kernel-trick 

如何证明两个内核函数的逐点乘积是一个内核函数？

13 machine-learning  kernel-trick