我觉得您将视为完全未知的对象。我认为情况并非如此。这可能是您错过的。p
说,我们观察(IID),我们希望推断p (X | Ý )其中我们假设p (Ý | X )和p (X )为X ∈ [R d是通过指定该模型。根据贝叶斯的规则,Y={yi}ni=1p(x|Y)p(y|x)p (x )X ∈ řd
p (x | Y)= p (x )p (ÿ)p (ÿ| x)= p (x )p (ÿ)∏我= 1ñp (ÿ一世| x)。
第一个观察结果是我们对后验分布有所了解。如上给出。通常,我们只是不知道其归一化p (Y )。如果似然性p (y | x )非常复杂,那么我们最终会有一些复杂的分布p (x | Y )。p (x | Y)p (ÿ)p (ÿ| X)p (x | Y)
使得能够进行变分推断的第二件事是,可以采用的形式存在约束。在没有任何限制的情况下,arg min q K L (p | | q )将是p,这通常是棘手的。通常,假设q生活在指数族的选定子集中。例如,这可能是完全因式分解高斯分布,即家庭,q ∈ Q = { Π ð 我= 1个 q 我(X 我)|q精氨酸分qķL (p | | q)pq。事实证明,如果这是您的约束集,则 q的每个分量都由q∈ Q = { Πd我= 1q一世(x一世)∣ 每个 q一世 是一维高斯}q
q一世∝ exp(E∏j ≠ iqĴ日志p (X ,ÿ)),
其中确切的公式并不重要。问题的关键是近似的q可以依靠真正的知识发现p和形式近似的假设q应该采取。p (X ,ÿ)= p (x )∏ñ我= 1p (ÿ一世| x)。qpq
更新资料
以下是回答问题中的更新部分。我只是意识到我一直在考虑。我将始终使用p表示真实数量,而q则使用近似值。在变化推论或变化贝叶斯中,q由下式给出ķ大号(q| | p(x | Y))pqq
q= arg分q∈ Qķ大号(q| |p (x | Y))。
使用上述约束集,解为先前给出的解。现在,如果您正在考虑问
q= arg分q∈ QķL (p (x | Y)| |q),
如果将定义为指数族的子集,则此推论称为期望传播(EP)。在这种情况下,q的解是这样的,使得其矩与p (x | Y )的矩匹配。问qp (x | Y)
无论哪种方式,您都说对了,实际上,您试图通过约束为某种形式的分布来逼近KL方向上的真实后验分布。q