仅给出边际计数的联合分布的最大似然估计

令是两个类别变量的联合分布，其中。说从该分布中抽取了样本，但仅给出了边际计数，即： $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

给定，的最大似然估计是？这是已知的吗？计算上可行吗？除了机器学习之外，还有其他合理的方法来解决这个问题吗？ $p_{x,y}$ $S_j,T_j$

— RS
source

边距实际上不包含有关联合分布的信息*（实际上这是系结点）。 *或至少几乎没有-显然，边距确实包含至少一些信息，因为内部数量不能超过其出现的边距。您是否考虑到特定的联合分布？为什么使用标签？您是否正在寻求最大熵的解决方案？

$\:$ maximum-entropy

— Glen_b-恢复莫妮卡2014年

我对copulas不是很熟悉。它们是否也适用于这种情况？这意味着什么-每个具有相同边距的联合分配都将具有相同的可能性？（我标记了最大熵，因为我认为这可能是相关的。）

— RS

我们甚至还没有指定的分布模型，因此我们实际上还无法计算。这里有很多可能性。Copulas存在于有序的分类情况下（如果不是唯一的话），但是我提出这个问题的目的是给出动机，以说明为什么边际通常不是很有用。对于分类计数案例，Fisher将边距视为关于联合的无效信息，因此Fisher-Irwin进行了精确检验。如果你想最大熵，你也许可以得到一个最大熵的解决方案，但我不知道，这将是非常丰富的关于...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reinstate莫妮卡

（ctd）...结构。在ME或ML情况下，我认为您首先需要某种模型，无论它是二元多项式，二元超几何还是具有更多结构的模型。请参阅此问题，作者将参考添加到答案中。那可能会有帮助。

— Glen_b-恢复莫妮卡2014年

我的意思是一般的二元多项式分布。问题是关于给出分布总和的情况，我们从联合分布中看到样本。在这里，我们有样本的总和。我认为该问题在ML案例中得到了很好的定义（解决方案可能不是唯一的，但我不知道）。

— RS

Answers:

Dobra等人（2006年）在论文“具有固定边际总数的多向列联表中的数据增强”中对此问题进行了研究。令表示模型的参数，令表示每对对的未观察到的整数表，令为边际计数等于的整数表的集合。那么，观察到边际计数的概率为：，其中 $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ 是多项式抽样分布。这定义了ML的似然函数，但是除小问题外，直接评估是不可行的。他们推荐的方法是MCMC，您可以通过从提案分布中抽样并根据Metropolis-Hastings接受率来接受更改来交替更新和。可以使用蒙特卡洛EM 将其调整为在上找到一个近似最大值。

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

另一种方法是使用变分方法来近似的总和。边际约束可以编码为因子图，并且可以使用期望传播对进行推断。 $\mathbf{n}$ $\theta$

要了解为什么这个问题很难解决并且不能接受简单的解决方案，请考虑。以作为行总和，作为列总和，有两个可能的计数表：因此似然函数是的此问题的MLE为，对应于假设左侧的表格。相比之下，假设独立性所获得的估计为 $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ ，其似然值较小。

— 汤姆·明卡
source

不可能获得解析解吗？

— Ben Kuhn 2014年

谢谢！尽管它似乎是从贝叶斯的角度来看的，但本文似乎是相关的。对于所有对，实际上是分布本身，即的特定情况如何？会怀疑在这种情况下会有分析解决方案吗？

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

— RS

我不会怀疑有解析解决方案。我添加了一个示例来说明这一点。

— 汤姆·敏卡2014年

谢谢。也许渐近地是真的？然后，对保证金总数的条件与对保证金分布的条件相同（归一化之后），并且每个未观察到的整数表的对数似然率与其熵成正比。那么，也许与AEP有什么关系？

— RS

正如@Glen_b指出的那样，这没有充分指定。我认为除非可以完全指定可能性，否则不能使用最大可能性。

如果您愿意承担独立性，那么问题就非常简单（顺便说一句，我认为解决方案将是所建议的最大熵解）。如果您不愿意也不能够在问题中强加其他结构，而您仍想对单元格的值进行某种近似，则可以使用Fréchet-Hoeffdingcopula边界。没有附加的假设，我认为您不能再走了。

— 托塞尔
source

这样的可能性可能是多项式的。为什么那还不够？

— RS

据我了解，可能性是给定数据参数的函数。在这里，您没有每个单元格的值，只有边际值，因此您没有可以计算的参数的单个函数，更不用说最大化了。通常，有许多与边距兼容的像元配置，并且每种配置都有不同的可能性。

— F. Tusell 2014年

是的，那没关系。参数为，数据为边际。我仍然可以计算给定的边际概率-它是给出边际的单元格配置的所有概率之和。这是我可以最大化的单个功能。

p

$p$

p

$p$

— RS

编辑：此答案基于一个不正确的假设，即给定的边际计数的可能性仅是边际概率和。我还在考虑。 $p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

错误的内容如下：

如评论中所述，为找到“最大似然估计”的问题在于它不是唯一的。例如，考虑具有二进制和边际。两个估计量 $p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

在所有情况下都具有相同的边际概率和，因此具有相同的似然性（正如您可以验证的那样，它们都使似然函数最大化）。 $p_x$ $p_y$

实际上，无论边际是什么（只要每个维度中有两个非零），最大似然解就不是唯一的。我将在二进制情况下证明这一点。令为最大似然解。不失一般性，假设。然后具有相同的边际，因此也是最大似然解。 $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

如果您还想附加一个最大熵约束，那么您会得到一个唯一的解，正如F. Tussell所说的那样，其中是独立的。您可以看到以下内容： $X, Y$

分布的熵为 ; 最大化和（等效地，其中和）使用拉格朗日乘数给出了等式： $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

每个所有梯度均为1，因此按坐标计算得出 $g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

加上原始约束和。当且，您可以验证是否满足，即 $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

— 本·库恩
source

对于第一个示例：给出的是边际计数，而不是边际概率。在您描述的情况下，左的的概率是的概率为。对于右边的，它是，即。即使没有独特的解决方案，也并不意味着我们无法指出某些解决方案。最大熵给出了唯一的解决方案，但可能不是最大可能性。

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

— RS

您错误地计算了概率；例如，您忘记了包含二项式系数。但您是对的，即使两个矩阵给出的边际计数的边际分布相同，它们给出的边际计数的联合分布也不同。（赞！）我会考虑更多。

— Ben Kuhn 2014年