随机厨房水槽如何工作？

去年在NIPS 2017上，阿里·拉希米（Ali Rahimi）和本·雷赫特（Ben Recht）的论文“大型内核机器的随机特征” 获得了时间测试奖，他们引入了随机特征，后来被编纂为随机厨房水槽算法。作为公开发表论文的一部分，他们表明可以在5行Matlab中实现他们的模型。

% Approximates Gaussian Process regression
%     with Gaussian kernel of variance gamma^2
% lambda: regularization parameter
% dataset: X is dxN, y is 1xN
% test: xtest is dx1
% D: dimensionality of random feature

% training
w = randn(D,d);
b = 2 * pi * rand(D, 1);
Z = cos(gamma * w * X + b * ones(1,N));

alpha = (lambda * eye(D) +Z * Z') \ (Z * y);

% testing
ztest = alpha' * cos(gamma * w * xtest + b);

我不清楚上述算法如何学习任何东西。随机厨房水槽如何工作？它如何近似高斯过程和支持向量机？

编辑

重新审视Rahimi的演讲，随机厨房水槽一词并没有在获得该奖项的论文中引入，而是在论文三部曲的结尾处开始，即“大型内核机器的随机功能”。其他论文是：

Rahimi，Ali和Benjamin Recht。“具有随机基的函数的均匀近似。” 通信，控制和计算，2008年第46届Allerton年度会议。IEEE，2008年。

Rahimi，Ali和Benjamin Recht。“随机的厨房水槽的加权总和：用学习中的随机性代替最小化。” 神经信息处理系统的进步。2009年。

我认为上面介绍的代码段是上一篇论文中算法1的特化。

随机厨房水槽（或随机傅里叶特征）和其他相关方法并不努力执行推理，而是尝试减少基于内核的推理方法的瓶颈。

$n \times n$$O(n^3)$

随机傅立叶特征（Rehimi＆Recht 2007）考虑通过仅对内核傅立叶分量的一个随机子集进行采样来创建移位不变内核的低秩近似。由于傅立叶空间是位移不变的，因此保留了此属性，但是现在，通过这些傅立叶分量的并集形成了显式的有限维复制内核希尔伯特空间。退化的近似核对曾经无限维的RKHS进行近似。

有关代码段的注释：在第5行中，有一些细节被覆盖。最重要的是，高斯函数在傅立叶空间中也是高斯函数，只是方差是倒数。这就是为什么他们从randn采样然后乘以方差。然后，它们生成alpha，这只是找到ztest的子过程。本质上，正常的内核预测看起来像

$z_{test} = K(x_{test}, x)(K(x, x) + \lambda I)^{-1} y.$

$z_{test} = \Phi(x_{test})^T\Phi(x)(\Phi(x)^T\Phi(x) + \lambda I)^{-1} y.$

$\Phi(\cdot)$

旁注：您应该使用它吗？答案不是肯定的。这完全取决于您要建模的内容。傅立叶空间的使用不一定适用于非平稳非移动不变核。伙计们从来没有声称它可以在这种情况下工作，但是如果您只是从这个领域开始，那么细微差别就不明显了。