内核近似的Nystroem方法

我一直在阅读有关低阶内核近似的Nyström方法。该方法在scikit-learn [1]中实现，作为一种将数据样本投影到内核特征映射的低秩近似的方法。

据我所知，给定训练集和一个核函数，它通过将SVD应用于来生成核矩阵的低秩近似。和。 $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ ， $W \in \mathbb{R}^{l\times l}$

但是，我不了解如何使用内核矩阵的低秩近似将新样本投影到近似的内核特征空间。我发现的论文（例如[2]）并没有太大帮助，因为它们几乎没有说教性。

另外，我对这种方法在训练和测试阶段的计算复杂性感到好奇。

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— 丹尼尔·洛佩斯（DanielLópez）
source

让我们以使您的问题的答案更清晰的方式导出Nyström逼近。

Nyström中的关键假设是核函数的等级为。（实际上，我们假设它的等级大约为，但为简单起见，我们暂时假装它的等级刚好为。）这意味着任何内核矩阵最多将具有等级，尤其是是等级。因此，有非零特征值，我们可以将特征分解写为 $m$ $m$ $m$ $m$

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = U Λ U^{T}

$K = U \Lambda U^T$ 其特征向量存储在，形状为，特征值布置在，即对角矩阵。

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

因此，让我们通常随机地均匀地选择元素，但也可以根据其他方案进行选择-在此简化版本中，最重要的是是满级的。完成后，只需重新标记点，就可以得出以块为单位的内核矩阵：我们在其中评估（即）和（）中的每个条目，但不想评估。 $m$ $K_{11}$

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$

K_{22}

$K_{22}$

现在，我们也可以根据这种块结构拆分特征分解：其中是，是。但要注意，现在我们有。因此，通过特征分解已知矩阵我们可以找到和。

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

我们也知道，。在这里，我们知道了该方程中除之外的，因此我们可以求解所隐含的特征值：将两侧均乘以即可得到现在我们有了评估所需的一切： $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

在（*）中，我们找到了Nyström嵌入的一个版本，您可能只是将其视为定义。这告诉我们要为块输入的有效内核值。 $K_{22}$

在（**）中，我们看到特征矩阵 是形状，对应于这些估算的内核值。如果我们对个点使用，则我们有一组维特征我们可以快速验证对应于正确的内核矩阵： $K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

因此，我们要做的就是训练具有维特征常规学习模型。这将与使用的学习问题的内核化版本完全相同（在我们所做的假设下）。 $m$ $\Phi$ $K$

现在，对于单个数据点，的特征对应于对于分区2中的点，向量只是的相关行，因此可以堆叠这些给了我们 –因此同意分区2中的点。它也适用于分区1：那里，向量是的行，因此将它们堆叠起来会得到，再次同意 $x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$ 。因此...对于训练时看不见的测试点仍然适用。您只需做同样的事情：因为我们假设内核是等级，所以矩阵的排名也为，并且通过与完全相同的逻辑，的重构仍然是精确的。

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

以上，我们假定核矩阵是准确等级。通常情况并非如此。对于高斯内核，例如，是始终排名，但后者的特征值通常脱落很快，所以这将是接近的秩的矩阵，而我们的重建或将接近真实值，但不完全相同。的本征空间越接近的本征空间，它们将是更好的重构。

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

K

$K$ 总的来说，这就是为什么在实践中选择正确的点很重要的原因。

m

$m$

还要注意，如果特征值为零，则可以用伪逆代替逆，并且一切仍然有效；您只需更换在重建。 $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$

如果需要，可以使用SVD而不是特征分解。因为是psd，所以它们是同一回事，但是SVD可能对内核矩阵中的轻微数字误差更健壮，因此scikit-learn就是这样做的。scikit-learn的实际实现可以做到这一点，尽管它使用而不是伪逆来实现。 $K$ $\max(\lambda_i, 10^{-12})$

— 杜加尔
source

当为正半定值时，特征分解与SVD一致。scikit-learn，因为由于数值误差，可能稍微不为psd，而是计算，并使用，因此该的特征变得。基本上是同一回事。

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

— Dougal

抱歉，是的，他们使用。自从以来，这一切都不重要，但是由于它们进行了转置，因此最终。

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

— Dougal

将对角矩阵提高到幂与将每个元素提高到幂相同，并且。在numpy广播表示法中，向量的逐元素乘法与右对角矩阵乘以相同。此外，该代码使用来的意思我打电话。

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

— Dougal

抱歉，最多只能达到（在重新标记的顺序中，这样才是Nyström的基点）。将修复。

x_{m}

$x_m$

— Dougal

x

$x$ 是数据点，此处未指定尺寸。可能在，或者可能是字符串或其他内容；只想说，，使。然后只是为不同的输入叠加了。

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$

— Dougal