期望K数之和而不需替换

给定数字，每个数字的值不同，分别表示为，选择每个数字的概率分别为。 $n$ $v_1, v_2, ..., v_n$ $p_1, p_2, ..., p_n$

现在，如果我根据给定的概率选择数字，其中，那么这数字之和的期望是什么？请注意，选择是没有替换的，因此号不能包含重复的数字。我知道如果选择替换，则数字之和的期望等于，其中 $K$ $K \leq n$ $K$ $K$ $K$ $K \times E(V)$

E (V) = v_{1} \times p_{1} + v_{2} \times p_{2} + . . . + v_{n} \times p_{n} .

$E(V) = v_1 \times p_1 + v_2 \times p_2 + ... + v_n \times p_n.$

此外，对那些数的方差的期望又如何呢？ $K$

我是CS博士学生，正在研究大数据问题，而且我没有任何统计背景。我希望有人可以给我一个公式作为答案。但是，如果答案过于复杂而无法用公式描述或需要进行大量计算，则近似答案是完全可以接受的。

您可以假设此处的很大，并且概率可能相差很大。实际上，这些概率的值来自查询日志，该日志记录了一系列聚合查询。关键是查询中涉及的每个数字的频率可能会偏斜，即，很少查询一些，而某些查询则非常频繁。您可以假设概率分布是正态分布，zipf分布或任何其他合理的替代。 $n$

值分布只是任何可能分布的连续子集。换句话说，如果您有一个表示一定分布的直方图，则此问题涉及的所有数字都是单个存储桶中的所有数字。

根据K的值，您可以假定它总是小于经常查询的元素的数量。

probability

— 科学先锋
source

如果不进行替换，总和方差的期望将有所不同；如果没有替代品，您将需要一个有限的人口校正系数。（要直观地看到这一点，请注意，如果K = n，总和的方差为零，因为它始终是相同的数字；因此，当K接近n时，总和的方差会更低。）

— zbicyclist 2013年

这个问题可能比看起来棘手。考虑和。用替换得出的两个值的预期总和是，这当然是一个值的预期总和的两倍；但是除了之外，没有替换而得出的两个值的预期总和显然是。

n = 2

$n=2$

(v_{1}, v_{2}) = (0, 1)

$(v_1,v_2)=(0,1)$

2 p_{2}

$2p_2$

v_{1} + v_{2} = 1 \neq 2 p_{2}

$v_1+v_2=1\ne 2p_2$

p_{1} = p_{2} = 1 / 2

$p_1=p_2=1/2$

— whuber

@zbicyclist也许我没有清楚说明问题。在我的情况下，如果K = N，那么这些K个的方差将一般人群的方差，而不是0。

— SciPioneer

（1）在我看来，这似乎不是一个自学的问题：它看起来像是一个真正的应用问题。（2）可能有多大？确切的解决方案看起来不可行，除非可以枚举所有子集。（3）如果可以大于左右（不包括快速枚举），那么您对什么看法？例如，它们会变化还是全部接近？这可以为寻找近似答案提供帮助。

n

$n$

n

$n$

20

$20$

p_{i}

$p_i$

1 / n

$1/n$

— whuber

感谢您的修改。关于，，和越多，越好。例如，如果则用于替换采样的公式应该是很好的近似值（因为很少会重复选择很少的值）。我认为最困难的情况是，那里是一个大范围的值的 -因此，你不能只是取代他们大多以零，但与的为数可观的 --and。

N

$N$

K

$K$

v_{i}

$v_i$

p_{i}

$p_i$

K max (p_{i}) ≪ 1

$K\max(p_i)\ll 1$

p_{i}

$p_i$

p_{i} > 1 / K

$p_i\gt 1/K$

i

$i$

K \approx N / 2

$K\approx N/2$

— whuber

这可能是答案的性质，尽管准确，但可能没什么用。Horvitz和Thompson（1952）提供的结果通常涵盖了这种情况。这些结果是根据人们可能期望的组合表达式给出的。

为了与它们的符号保持一致，并与更广泛使用的符号更好地对应，让我重新定义一些数量。令为总体中元素的数量，为样本数量。 $N$ $n$

令，表示总体中的元素，具有给定值，和选择概率。对于大小为的给定样本，令样本中的观察值为。 $u_i$ $i=1,...,N$ $N$ $V_i$ $i=1,...,N$ $p_1,...,p_N$ $n$ $v_1,..., v_n$

期望的是样本总数的均值和方差

\sum_{i = 1}^{n} v_{i} .

$\sum_{i=1}^n v_i.$

如评论中所述，选择顺序绘制的特定样本的概率为其中绘制的初始概率由给出，绘制的第二概率以将从总体中删除为条件，依此类推。因此，随后绘制的每个单元都会为下一个单元产生新的概率分布（因此，选择不同的字母，因为每个字母代表不同的分布。） $s = \{u_i, u_j, ..., u_t\}$

Pr (s) = p_{i_{1}} p_{j_{2}} \dots p_{t_{n}},

$\textrm{Pr}(s) = p_{i_1}p_{j_2}\cdots p_{t_n},$

p_{i_{1}}

$p_{i_1}$

u_{i}

$u_i$

p_{i}

$p_i$

p_{j_{2}}

$p_{j_2}$

u_{j}

$u_j$

u_{i}

$u_i$

有个大小为样本，在整个总体中包含。请注意，这考虑了样本的排列。

S^{(i)} = n! (\binom{N - 1}{n - 1})

$S^{(i)} = n! \binom{N-1}{n-1}$

n

$n$

u_{i}

$u_i$

n!

$n!$

令表示大小为的特定样本，其中包括。然后，选择元素的概率由其中求和超过的大小的集合大小为所有可能样本都包含。（我对论文的表示法做了些改动，因为它使我感到困惑。） $s_n^{(i)}$ $n$ $u_i$ $u_i$

P (u_{i}) = \sum Pr (s_{n}^{(i)}),

$P(u_i) = \sum \textrm{Pr}(s_n^{(i)}),$

S^{(i)}

$S^{(i)}$

s_{n}^{(i)}

$s_n^{(i)}$

n

$n$

u_{i}

$u_i$

同样地，定义作为同时包含和的样本数。然后，我们可以定义同时包含的样本的概率其中总和超过大小集的所有可能的样品的大小的包含和。

S^{(i j)} = n! (\binom{N - 2}{n - 2})

$S^{(ij)} = n! \binom{N-2}{n-2}$

u_{i}

$u_i$

u_{j}

$u_j$

P (u_{i} u_{j}) = \sum Pr (s_{n}^{(i j)}),

$\textrm{P}(u_i u_j) = \sum \textrm{Pr}(s_n^{(ij)}),$

S^{(i j)}

$S^{(ij)}$

s_{n}^{(i j)}

$s_n^{(ij)}$

n

$n$

u_{i}

$u_i$

u_{j}

$u_j$

然后将期望值导出为

E (\sum_{i = 1}^{n} v_{i}) = \sum_{i = 1}^{N} P (u_{i}) V_{i} .

$E \left( \sum_{i=1}^n v_i \right) = \sum_{i=1}^N \textrm{P}(u_i) V_i.$

尽管在本文中未明确得出方差，但可以从第个矩期望中获得方差和叉积 $q$

E (\sum_{i = 1}^{n} v_{i}^{q}) = \sum_{i = 1}^{N} P (u_{i}) V_{i}^{q}

$E \left( \sum_{i=1}^n v_i^q \right) = \sum_{i=1}^N \textrm{P}(u_i) V_i^q$

E (\sum_{i \neq j}^{n} v_{i} v_{j}) = \sum_{i \neq j} P (u_{i} u_{j}) V_{i} V_{j} .

$E \left( \sum_{i \ne j}^n v_iv_j \right) = \sum_{i \ne j} \textrm{P}(u_i u_j) V_i V_j.$

换句话说，似乎需要遍历所有可能的子集来进行这些计算。不过，也许可以对较小的值执行此操作。 $n$

Horvitz，DG和Thompson，DJ（1952）采样的概括，没有从有限的宇宙中替换。美国统计协会杂志 47（260）：663-685。

— 吉布劳恩
source