球和在垃圾箱分析

假设我们将球扔进仓中，其中。令为最终进入箱的球数，为最重的箱，为最轻的箱，为第二重的箱。粗略地说，，因此我们期望对于任意两个固定的。使用联合约束，我们期望；大概，我们可以通过考虑来获得匹配的下界 $m$ $n$ $m \gg n$ $X_i$ $i$ $X_\max$ $X_\min$ $X_{\mathrm{sec-max}}$ $X_i - X_j \sim N(0,2m/n)$ $|X_i - X_j| = \Theta(\sqrt{m/n})$ $i,j$ $X_{\max} - X_{\min} = O(\sqrt{m\log n/n})$ $n/2$ 对不相交的垃圾箱。这个（不是完全正式的）论点使我们期望 $X_{\max}$ 和之间的差距 $X_{\min}$ 很有可能是 $\Theta(\sqrt{m\log n/n})$ 。

我对 $X_\max$ 和之间的差距感兴趣 $X_{\mathrm{sec-max}}$ 。上面概述的论点表明 $X_\max - X_{\mathrm{sec-max}} = O(\sqrt{m\log n/n})$ 可能性很高，但是 $\sqrt{\log n}$ 因子似乎是多余的。是否知道有关 $X_\max - X_{\mathrm{sec-max}}$ ？

更一般而言，假设每个球与每个仓的非负得分相关联，并且我们对投掷 $m$ 球后每个仓的总得分感兴趣。通常的情况对应于形式为分数 $(0,\ldots,0,1,0,\ldots,0)$ 。假设在bin的排列下得分的概率分布是不变的（在通常情况下，这对应于所有bin都是等概率的事实）。给定分数的分布，我们可以使用第一段的方法来很好地限制 $X_{\max} - X_{\min}$ 。边界将包含 $\sqrt{\log n}$ 来自联合约束（通过正态变量的尾部概率）。如果我们有兴趣限制可以减少此因子 $X_{\max} - X_{\mathrm{sec-max}}$ 吗？

reference-request pr.probability

— Yuval Filmus
source

每个分数都在[0,1]中？

— Neal Young

并不重要，您可以随时对其进行缩放以使其位于

[0, 1]

$[0,1]$ 。

— Yuval Filmus 2012年

Answers:

答案： $\Theta\left(\sqrt{\frac{m}{n\log n}}\right)$ 。

应用中心极限定理的多维形式，我们得到向量具有渐近多元高斯分布和下面我们将假设是一个高斯向量（并且不仅是近似高斯向量）。让我们将具有方差的高斯随机变量添加到所有（独立于所有）。也就是说，让 $(X_1,\dots, X_n)$

V a r [X_{i}] = m (\frac{1}{n} - \frac{1}{n^{2}}),

$\mathrm{Var}[X_i] = m\left(\frac{1}{n} - \frac{1}{n^2}\right),$

C o v (X_{i}, X_{j}) = - m / n^{2} .

$\mathrm{Cov}(X_i, X_j) = -m/n^2.$

X

$X$

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

Z

$Z$

X_{i}

$X_i$

(\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{n} \end{matrix}) = (\begin{matrix} X_{1} + Z \\ X_{2} + Z \\ ⋮ \\ X_{n} + Z \end{matrix}) .

$\begin{pmatrix} Y_1\\Y_2\\ \vdots\\Y_n \end{pmatrix} = \begin{pmatrix} X_1+Z\\X_2+Z\\ \vdots\\X_n +Z \end{pmatrix}.$ 我们得到一个高斯向量。现在每个都有方差：并且所有是独立的：

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

V a r [Y_{i}] = V a r [X_{i}] + \underset{= 0}{\underset{⏟}{2 C o v (X_{i}, Z)}} + V a r [Z] = m / n,

$\mathrm{Var}[Y_i] = \mathrm{Var}[X_i] + \underbrace{2\mathrm{Cov}(X_i,Z)}_{=\, 0}+\mathrm{Var}[Z] = m/n,$

Y_{i}

$Y_i$

C o v (Y_{i}, Y_{j}) = C o v (X_{i}, X_{j}) + \underset{= 0}{\underset{⏟}{C o v (X_{i}, Z) + C o v (X_{j}, Z)}} + C o v (Z, Z) = 0.

$\mathrm{Cov}(Y_i, Y_j) = \mathrm{Cov}(X_i, X_j) + \underbrace{\mathrm{Cov}(X_i,Z) + \mathrm{Cov}(X_j,Z)}_{=\, 0} +\mathrm{Cov}(Z, Z) = 0.$

注意，。因此，我们最初的问题等同于找到。为了简单起见，让我们首先分析所有具有方差。 $Y_i - Y_j = X_i - X_j$ $Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}$ $Y_i$ $1$

问题。给出独立的高斯rv，均值和方差。估计对的期望。 $n$ $\gamma_1,\dots, \gamma_n$ $\mu$ $1$ $\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}$

答案： 。 $\Theta\left(\frac{1}{\sqrt{\log n}}\right)$

非正式证明。 这是解决此问题的非正式解决方案（将其正式化并不难）。由于答案不取决于均值，因此我们假定。令，其中。（对于中等大的），我们有 $\mu = 0$ $\bar\Phi(t) = \Pr[\gamma > t]$ $\gamma\sim{\cal N}(0,1)$ $t$

\bar{Φ} (t) \approx \frac{1}{\sqrt{2 π} t} e^{- \frac{1}{2} t^{2}} .

$\bar\Phi(t)\approx \frac{1}{\sqrt{2\pi}t} e^{-\frac{1}{2}t^2}.$

注意

$\Phi(\gamma_i)$ 均匀且独立地分布在， $[0,1]$
$\Phi(\gamma_{\mathrm{max}})$ 在最小， $\Phi(\gamma_i)$
$\Phi(\gamma_{\mathrm{sec-max})}$ 在排名第二。 $\Phi(\gamma_i)$

因此接近，接近（没有集中力，但如果我们不专注如果不关心常量，这些估计值就足够了；实际上，如果我们关心常量，它们甚至还不错-但这需要证明。使用的公式，我们得到 $\Phi(\gamma_{\mathrm{max}})$ $1/n$ $\Phi(\gamma_{\mathrm{max}})$ $2/n$ $\bar\Phi(t)$

2 \approx \bar{Φ} (γ_{s e c - m a x}) / \bar{Φ} (γ_{m a x}) \approx e^{\frac{1}{2} (γ_{m a x}^{2} - γ_{s e c - m a x}^{2})} .

$2\approx \bar\Phi(\gamma_{\mathrm{sec-max}})\left/\bar\Phi(\gamma_{\mathrm{max}})\right. \approx e^{\frac{1}{2}\left(\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2\right)}.$

因此是 whp注意，。我们有 $\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2$ $\Theta(1)$ $\gamma_{\mathrm{max}}\approx \gamma_{\mathrm{sec-max}} = \Theta(\sqrt{\log n})$

γ_{m a x} - γ_{s e c - m a x} \approx \frac{Θ (1)}{γ_{m a x} + γ_{s e c - m a x}} \approx \frac{Θ (1)}{\sqrt{\log n}} .

$\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}\approx \frac{\Theta(1)}{\gamma_{\mathrm{max}} + \gamma_{\mathrm{sec-max}}} \approx \frac{\Theta(1)}{\sqrt{\log n}}.$

优质教育

我们得到

\begin{aligned} E [X_{m a x} - X_{s e c - m a x}] & = E [Y_{m a x} - Y_{s e c - m a x}] \\ = \sqrt{V a r [Y_{i}]} \times E [γ_{m a x} - γ_{s e c - m a x}] = Θ (\sqrt{\frac{m}{n \log n}}) . \end{aligned}

$\begin{align} \mathbb{E}[{X_{\mathrm{max}} - X_{\mathrm{sec-max}}}] &= \mathbb{E}[{Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}}] \\ &= \sqrt{\mathrm{Var}[Y_i]} \times\mathbb{E}[{\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}}] = \Theta\left(\sqrt{\frac{m}{n\log n}}\right). \end{align}$

当我们拥有任意分数时，也会发生同样的争论。它显示
$E [X_{m a x} - X_{s e c - m a x}] = c E [X_{m a x} - X_{m i n}] / \log n .$ $\mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{sec-max}}] = c\, \left. \mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{min}}]\right/\log n.$

— 尤里
source

谢谢！我会记得下次尝试多元高斯近似。

— Yuval Filmus 2012年

尤里（Yury），您写道：“让我们向所有添加方差为的高斯向量我们得到一个高斯向量。现在每个方差为而所有都不相关...请注意，。” 您可以在这部分进行扩展吗？是？如果是相关的，而是独立的（或一致地相同），那么怎么独立？（似乎是一个巧妙的把戏，但我不明白。）谢谢。

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

Y_{i}

$Y_i$

Y_{i} - Y_{j} = X_{i} - X_{j}

$Y_i - Y_j = X_i - X_j$

Z_{i} = Z_{j}

$Z_i = Z_j$

X_{i}

$X_i$

Z_{i}

$Z_i$

Y_{i}

$Y_i$

— 尼尔·杨

@NealYoung，是的，如果我们有变量具有负成对相关和所有协方差是相等的，那么我们可以增加一个单个新的随机变量所有使得总和是独立的。同样，如果变量具有正相关，并且所有协方差相等，那么我们可以从所有变量中减去一个rv，以便所有差异都是独立的；但现在不独立于，而是

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

X_{i}

$X_i$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

Z

$Z$

X_{i}

$X_i$

Z = α (X_{1} + \dots + X_{n})

$Z=\alpha (X_1 + \dots+X_n)$ 对于某些缩放参数。

α

$\alpha$

— 尤里

啊，我明白了。至少在代数上，它所依赖的是Z和每个的成对独立性。很酷。

X_{i}

$X_i$

— Suresh Venkat 2012年

现在，该论点（带有署名）出现在EC'14论文中：dl.acm.org/citation.cfm ? id= 2602829。

— Yuval Filmus 2015年

对于第一个问题，我想您可以证明wh是请注意，这是。 $X_{\max}-X_{\textrm{sec-max}}$

o (\sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}}) .

$o\left(\sqrt{\frac{m}{n}\frac{\log^2\log n}{\log n}}\right).$

o (\sqrt{m / n})

$o(\sqrt{m/n})$

将您的随机实验与以下替代方法进行比较：令为前存储桶中任何一个的最大负载。令为最后存储桶中任何一个的最大负载。 $X_1$ $n/2$ $X_2$ $n/2$

考虑时，是。此外，概率至少为一半。因此，粗略地说，的分布类似于。 $|X_1-X_2|$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2| = X_{\max}-X_{\mathrm{sec-max}}$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2|$

学习，请注意，很有可能将球扔入前容器中，同样将它们扔到最后容器中。因此，当将球扔进仓时，和的分布基本上像最大负载一样。 $|X_1-X_2|$ $m/2\pm O(\sqrt m)$ $n/2$ $n/2$ $X_1$ $X_2$ $m' = m/2\pm o(m)$ $n' = n/2$

对此分布进行了仔细研究，幸运的是，这种分布紧密地围绕其均值。例如，如果，则很有可能与它的期望相差最多此答案顶部显示的数量。1 ]。（注意：给定Yuri的答案，这个上限是宽松的。）因此，很有可能和也最多相差这么多，因此和差异最多。 $m' \gg n\log^3 n$ $X_1$ $X_1$ $X_2$ $X_{\max}$ $X_{\mathrm{max-sec}}$

相反，对于（稍微弱一些）下限，对于任何来说，如果，则至少为（根据天真的联合约束）至少为我认为这应该给您（例如）在一个连续因素内对的期望。 $t$ $\Pr[|X_1-X_2| \ge t] \ge 3/4$ $\Pr[X_{\max}-X_{\textrm{sec-max}} \ge t]$

Pr [| X_{1} - X_{2} | \geq t \land X_{max} - X_{sec-max} = | X_{1} - X_{2} |]

$\Pr\big[|X_1-X_2| \ge t ~\wedge~ X_{\max}-X_{\textrm{sec-max}} = |X_1-X_2|\big]$

1 - (1 / 4) - (1 / 2) = 1 / 4.

$1 - (1/4) - (1/2) = 1/4.$

X_{max} - X_{sec-max}

$X_{\max}-X_{\textrm{sec-max}}$

— 尼尔·杨（Neal Young）
source

看Thm。1，与预期的差异是，而不是您写的内容。仍然比好得多。

O (\sqrt{(m / n) \log \log n})

$O(\sqrt{(m/n) \log \log n})$

O (\sqrt{(m / n) \log n})

$O(\sqrt{(m/n) \log n})$

— Yuval Filmus 2012年

通过Thm。1（第3种情况），对于任何且概率为，任何仓中的最大值（n个仓中的m个球）为通过我的数学运算（使用），项扩展为我究竟做错了什么？

ϵ > 0

$\epsilon>0$

1 - o (1)

$1-o(1)$

\frac{m}{n} + \sqrt{\frac{2 m \log n}{n}} \sqrt{1 - (1 \pm ϵ) \frac{\log \log n}{2 \log n}} .

$\frac{m}{n} +\sqrt{\frac{2m\log n}{n}}\sqrt{1-(1\pm\epsilon) \frac{\log\log n}{2\log n}}.$

\sqrt{1 - δ} = 1 - O (δ)

$\sqrt{1-\delta} = 1 - O(\delta)$

\pm ϵ

$\pm\epsilon$

O (ϵ) \sqrt{\frac{m \log n}{n}} \frac{\log \log n}{\log n} = O (ϵ) \sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}} .

$O(\epsilon) \sqrt{\frac{m\log n}{n}}~\frac{\log\log n}{\log n} ~=~O(\epsilon) \sqrt{\frac{m}{n}~\frac{\log^2\log n}{\log n}}.$

— Neal Young

啊-我猜你是对的。我减去了平方根，这就是我的身材。

— Yuval Filmus 2012年