如何为相关数据建模伯努利随机变量的总和？

9

我有几乎相同的问题，例如：如何有效地建模伯努利随机变量的总和？

但是设置却大不相同：

$S=\sum_{i=1,N}{X_i}$ ，，〜20，〜0.1 $P(X_{i}=1)=p_i$ $N$ $p_i$
我们有伯努利随机变量结果的数据：， $X_{i,j}$ $S_j=\sum_{i=1,N}{X_{i,j}}$
如果我们用最大似然估计来估计（并得到），那么则要大得多，由其他条件期望： $p_i$ $\hat p^{MLE}_i$ $\hat P\{S=3\} (\hat p^{MLE}_i)$ $\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$
因此，和不能被视为独立的（它们具有较小的依赖性）。 $X_{i}$ $X_{j}$ $(j>k)$
有一些这样的约束：和（已知），这应该有助于估计。 $p_{i+1} \ge p_i$ $\sum_{s \le 2}\hat P\{S=s\}=A$ $P\{S\}$

在这种情况下，我们如何尝试对伯努利随机变量的总和建模？

哪些文献可能对解决任务有用？

更新

还有一些进一步的想法：

（1）可以假设之间的未知依赖关系是在连续1次或更多次成功之后开始的。因此，当，和。 ${X_i}$ $\sum_{i=1,K}{X_i} > 0$ $p_{K+1} \to p'_{K+1}$ $p'_{K+1} < p_{K+1}$

（2）为了使用MLE，我们需要最少可疑的模型。这是一个变体：

$P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ 如果对于任何k个，则如果且，并且对于任意k。 $\sum_{i=1,k}{X_i} = 0$ $P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$ $\sum_{i=1,k-1}{X_i} = 0$ $X_k = 1$ $P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

（3）因为我们只对感兴趣，所以我们可以设置（从尾部获得N-（k + 1）+1个求和的成功的概率）。并使用参数化 $P\{S\}$ $P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$ $\sum_{i=k+1,N}{X_i}$ $P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

（4）将MLE用于基于参数和其中（和任意）的，以及其他一些本地约束。 $p_1,...,p_N$ $p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$ $p_{s',l}=0$ $s' \ge 6$ $l$

这个计划可以吗？

更新2

与Poisson分布（蓝色）相比，经验分布（红色）的一些示例（泊松平均值为2.22和2.45，样本大小为332和259）： $P\{S\}$

样本1 样本2

对于具有泊松平均数2.28和2.51（样本大小分别为303和249）的样本（A1，A2）：

样本3 样本4

对于加入的samlpe A1 + A2（样本大小为552）：

样本3 +样本4

看起来对泊松的一些修正应该是最好的模型：)。

— 安德烈
source

2

什么是？

X_{i, j}

$X_{i,j}$

— chl

1

@Andrey（2）中的公式和（4）中的第二个约束没有意义：（4）中的帽子是什么意思？什么是？（您只定义了，没有定义。）（4）中的表达式是三个乘积之和还是其他乘积？

S

$S$

S_{j}

$S_j$

S

$S$

— ub

X_{i, j}

$X_{i,j}$ 是伯努利随机结果（第j系列的第i个结果），是总和（系列之和）的第j个结果。是总和的随机变量；（4）中的帽子表示估计值。因此，有一些有关的最小值之和的额外信息。对困惑感到抱歉。

S_{j}

$S_j$

S

$S$

S

$S$

— 安德烈

3

一种方法是使用广义线性模型（GLM）对建模。在这里，您可以将第次试验的成功概率公式化为最近观察历史的（逻辑线性）函数。因此，您实际上要拟合一种自回归GLM，其中噪声为Bernoulli，链接函数为logit。设置为： $X$ $p_i$ $i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ ，其中

$f(x) = \frac{1}{1+\exp(x)}$ ，和

$X_i \sim Bernoulli(p_i)$

模型的参数为，可以通过逻辑回归来估计。（您要做的就是在每次试验中使用观察历史的相关部分来设置设计矩阵，并将其传递给logistic回归估计函数;对数似然是凹入的，因此参数具有唯一的全局最大值）。如果结果确实是独立的，则将被设置为零；否则，将被设置为零。正表示一旦观察到成功，后续就会增加。 $\{b, a_1, \ldots a_k\}$ $a_i$ $a_i$ $p_i$

该模型没有提供关于的总和的概率的简单表达式，但是由于该模型具有简单的马尔可夫结构，因此易于通过仿真（粒子滤波或MCMC）进行计算。 $X_i$

这种模型已经成功地用于对大脑中神经元“突峰”之间的时间依赖性进行建模，并且有大量关于自回归点过程模型的文献。参见，例如Truccolo等，2005（尽管本文使用泊松而不是伯努利似然法，但是从一个映射到另一个映射很简单）。

— jpillow
source

1

如果相关性是由于聚集引起的，则复合泊松模型可以作为模型的解决方案。Barbour和Chryssaphinou的这篇参考文献有些随机。 $S_j$

在完全不同的方向上，由于您指出为20，因此相对较小，可能是建立的图形模型，但是我不知道您的设置和数据是否可行。作为@chl注释，如果描述是什么，将很有用。 $N$ $X_{ij}$ $X_{i,j}$

如果表示连续测量，例如随着时间的推移，并且相关性与此相关，则第三种可能性（在某种程度上扩展了上述两个建议之间的折衷关系）是使用以下形式的隐马尔可夫模型：所述的。 $X_{i,j}$ $X_{i,j}$

— NRH
source

X_{i, j}

${X_{i,j}}$ 是伯努利随机结果。抱歉，不准确。因此，是运动队在连续相等的时间间隔内得分的总和。事实证明，在第一个进球得分后，间隔中下一个进球的概率将有所不同。

X_{i}

${X_{i}}$

— 安德烈