RBF内核矩阵是否趋向于病态？

我使用RBF内核函数来实现一种基于内核的机器学习算法（KLPP），得到的内核矩阵 $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$ 被证明病得很重条件。L2-范数的条件数为

10^{17} - 10^{64}

$10^{17}-10^{64}$

有什么办法使它适应良好吗？我猜想参数需要调整，但我不知道该怎么精确。 $\sigma$

谢谢！

linear-algebra machine-learning interpolation support-vector-machines

— 泽雨虎
source

好吧，如果你做

σ_{m}

$\sigma_m$ 越小，您可以改善条件编号。

— user189035 2013年

Answers:

减少内核宽度 $\sigma_m$ 通常会减少条件数。

但是，对于任何基函数或点分布，只要基函数重叠，核矩阵都可以变为奇异或接近奇异。这样做的原因实际上很简单：

现在，假设选择两个点和并缓慢旋转它们，以便它们切换位置。这样做时，行列式将切换符号，在两者之间的某个点变为零。在这一点上，根据定义，是单数。 $x_i$ $x_j$ $K$ $K$

— 佩德罗
source

K矩阵不是对称的吗？交换两点会交换行和列吗？

— denis

@Denis只有在您的节点和试验点相同并且都移动两个节点的情况下，才是这种情况。这就是为什么我在第二个项目符号中写道：“假设您的试用点保持不变”。

— Pedro

高斯的核矩阵（OP的问题）是正半定的吗？

— 丹尼斯

@Denis：同样，这是关于如何定义RBF插值问题的问题。考虑在那里你拥有的最一般的情况下的RBFs集中在点，，你希望尽量减少在插值点，。发布者的示例假定和。如果我们最初设定和，然后只需移动，我们可以平凡产生奇异。

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— Pedro

一些建议：

选择平均距离| 随机最接近的。（对于均匀分布在的单位立方体中的个点的廉价近似值为0.5 /。）我们想要为大于靠近，小为背景噪声; 绘制几个随机。 $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
将从0，，左右; 也就是说，正则化。 $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
看一下求解的权重。如果有些仍然很大（不管条件数如何），那将倾向于确认Boyd（如下）高斯RBF从根本上是弱的。 $(K + \lambda I) w = f$

（RBF的一种替代方法是反向距离权重IDW。它具有自动缩放的优点，最近距离1 2 3 与100 200 300 我也找到了明确用户选择，即数字比上的网格搜索要清晰的多。） $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

高斯RBF插值对于大多数级数而言是病态的，因为插值是系数呈指数增大的小项之差。

希望这可以帮助; 请分享您的经验。

— 丹尼斯
source