单位球N个样本的最接近原点的中值最近点的公式的解释

在《统计学习的元素》中，引入了一个问题以突出高维空间中k-nn的问题。有 $N$ 被均匀地分布在一个数据点 $p$ 维单位球。

从原点到最近的数据点的中值距离由以下表达式给出：

d (p, N) = {(1 - {(\frac{1}{2})}^{\frac{1}{N}})}^{\frac{1}{p}}

$d(p,N) = \left(1-\left(\frac{1}{2}\right)^\frac{1}{N}\right)^\frac{1}{p}$

当 $N=1$ ，公式分解为球半径的一半，我可以看到最近的点如何以方式接近边界 $p \rightarrow \infty$ ，从而使knn后面的直觉在高维度上分解。但是我无法理解为什么公式依赖于N。有人可以澄清一下吗？

该书还指出：“……在训练样本的边缘附近进行预测要困难得多。必须从邻近的样本点推断而不是在它们之间进行内插”。这似乎是一个深刻的陈述，但我似乎无法理解它的含义。有人可以改写吗？

self-study proof k-nearest-neighbour

— 用户名
source

您需要稍微编辑显示的方程式。那是

指数仅适用于分子中分子

的样子，或者您希望将其应用于整数

\frac{1}{N}

$\frac 1N$

1

$1$

？

\frac{1}{2}

$\frac 12$

— Dilip Sarwate'1

这将有助于区分“超球”（在

为维

的流形）与“单位球”（维为

）。超球是球的边界。如果像你的标题说，所有点都从采样超球的定义- - ，那么他们都有距离

从原点，平均距离为

，所有都同样接近原点。

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

p

$p$

1

$1$

1

$1$

— ub

@DilipSarwate应用于整个

。在书中有一个例子，其中

，以便

\frac{1}{2}

$\frac{1}{2}$

N = 500, p = 10

$N=500, p=10$

d (p, N) \approx 0.52

$d(p, N) \approx 0.52$

— user64773

Answers:

半径为的维超球的体积与成正比。 $p$ $r$ $r^p$

所以体积超过一定距离的比例从原点是 $kr$ 。 $\frac{r^p-(kr)^p}{r^p}=1-k^p$

所有随机选择的点都大于距原点的距离的概率为。要获得到最近随机点的中值距离，请将此概率设置为 $N$ $kr$ $\left(1-k^p\right)^N$ 。因此 $\frac12$

{(1 - k^{p})}^{N} = \frac{1}{2}

$\left(1-k^p\right)^N=\tfrac12$

⟹ k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p} .

$\implies k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}.$

$k$ $N$ $2^{1/N}$ $N$ $\tfrac1{2^{1/N}}$ $N$ $1-\tfrac1{2^{1/N}}$ $N$ $p$

— 亨利
source

啊，看它的好方法。您能否在第二个问题中重新解释报价？

— user64773

我怀疑这可能表明在高维度上，要预测的点实际上距离训练数据还有很长的路要走，就像在球的边缘上一样，因此您并不是真正地进行内插而是要进行外推，因此不确定性更大。但是我真的不知道。

— 亨利

我不明白-我理解为什么这个表达式是所有点都比kr更远的概率，但是为什么将此概率设置为1/2可以得到中值距离呢？

— ihadanny

k = {(1 - \frac{1}{2^{1 / N}})}^{1 / p}

$k=\left(1-\tfrac1{2^{1/N}}\right)^{1/p}$

N

$N$

\frac{1}{2}

$\frac12$

1 - \frac{1}{2} = \frac{1}{2}

$1-\frac12=\frac12$

k r

$kr$

中位数的定义，一半更大，另一半更小。

— Grant Izmirlian

现在不用挥手了

$P (min_{1 \leq i \leq N} Y_{i} > y) = (1 - F (y))^{N},$ $P( \min_{1\le i\le N} Y_i > y ) = (1-F(y))^N,$ $F$
因此，如果我们有 iid个在维度上均匀分布在单位球中，则其中是距离的公共CDF，。最后，对于单位球中的均匀分布点，CDF是多少？点位于单位半径的球内半径为r的球等于体积比的概率： $N$ $X_i$ $p$
$P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - F (r))^{N},$ $P( \min_{1\le i\le N} ||X_i|| > r ) = (1-F(r))^N,$ $F$ $||X_i||, i=1,2,\ldots,N$ $F$ $R^p$

F (r) = P (| | X_{i} | | \leq r) = C r^{p} / (C 1^{p}) = r^{p}

$F(r) = P ( ||X_i|| \le r ) = C r^p/( C 1^p) = r^p$

因此解决方案

1 / 2 = P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N}

$1/2 = P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N$

是

r = (1 - (1 / 2)^{1 / N})^{1 / p} .

$r = (1 - (1/2)^{1/N})^{1/p}.$

还有关于样本量依赖性的问题。对于固定的，随着球充满更多的点，自然到原点的最小距离应该变小。 $N$ $p$

最后，您的体积比率有些不对劲。看起来应该是单位球的体积。 $k$ $R^p$

— 格兰特·伊兹密里安
source

简洁明了：

我们想要在尺寸的单位半径的原点找到均匀分布的点中最接近点到原点的中值距离。由于统计上的独立性，最小距离超过的概率（称为此数量表达式[1]）是单个均匀分布点超过的概率的次方。后者减去一个均匀分布的点小于的概率。后者是半径为的球与单位半径的球或的体积之比。我们现在可以将表达式[1]编写为 $N$ $p$ $r$ $N^{th}$ $r$ $r$ $r$ $r^p$

P (min_{1 \leq i \leq N} | | X_{i} | | > r) = (1 - r^{p})^{N} .

$P( \min_{1\le i\le N} ||X_i|| > r ) = (1- r^p)^N.$

要找到最小距离分布的中位数，请将上述概率设置为并求解，以获得答案。 $1/2$ $r$

— 格兰特·伊兹密里安
source