解释概率测度之间的Radon-Nikodym导数？

我在某些点上已经看到了相对于另一种概率度量使用Radon-Nikodym导数，最明显的是在Kullback-Leibler散度中，其中它是模型对某些任意参数的概率度量的导数。关于真实参数： $\theta$ $\theta_0$

\frac{d P_{θ}}{d P_{θ_{0}}}

$\frac {dP_\theta}{dP_{\theta_0}}$

这些都是在参数值条件下对数据点空间的概率度量。 $P_\theta(D)=P(D|\theta)$

在Kullback-Leibler散度中或更普遍地在两个概率测度之间，这种Radon-Nikodym导数的解释是什么？

— 用户名
source

首先，我们不需要概率测度，只需要 -finiteness。因此，令为可测量的空间，令和为有限度量。 $\sigma$ $\mathcal M = (\Omega, \mathscr F)$ $\mu$ $\nu$ $\sigma$ $\mathcal M$

在拉东-尼科迪姆定理指出，如果对所有，记，则存在一个非负波雷尔函数使得所有。 $\mu(A) = 0 \implies \nu(A) = 0$ $A \in \mathscr F$ $\mu \gg \nu$ $f$

ν (A) = \int_{A} f d μ

$\nu(A) = \int_A f \,\text d\mu$

A \in F

$A \in \mathscr F$

这就是我想这个的方式。首先，对于上的任意两个度量，让我们定义表示。这是一个有效的等价关系，我们说和在这种情况下是等效的。为什么这对措施是明智的？度量只是功能，但是它们的域很难可视化。如果两个普通函数具有此属性，即怎么办？好吧，定义并注意在任何地方的支持 $\mathcal M$ $\mu \sim \nu$ $\mu(A) = 0 \iff \nu(A) = 0$ $\mu$ $\nu$ $f, g :\mathbb R \to \mathbb R$ $f(x) = 0 \iff g(x) = 0$

h (x) = {\begin{cases} f (x) / g (x) & g (x) \neq 0 \\ π^{e} & o.w. \end{cases}

$h(x) = \begin{cases} f(x) / g(x) & g(x) \neq 0 \\ \pi^e & \text{o.w.}\end{cases}$

g

$g$ 我们有，并且在的支持范围之外（因为和共享支持），所以让我们将重新缩放为。正如@whuber所指出的那样，这里的关键思想不是以某种方式“安全”地执行或忽略，而是当时无关紧要，因此我们可以任意定义它（例如成为，在这里没有特殊的意义），事情仍然有效。此外，在这种情况下，我们可以定义类似的功能与使得

g h = f

$gh = f$

g

$g$

g h = 0 \cdot π^{e} = 0 = f

$gh = 0 \cdot \pi^e = 0 = f$

f

$f$

g

$g$

h

$h$

g

$g$

f

$f$

0 / 0

$0/0$

g = 0

$g = 0$

h

$h$

π^{e}

$\pi^e$

h^{'}

$h'$

g / f

$g / f$

f h^{'} = g

$fh' = g$ 。

接下来，假设，但另一个方向不一定成立。这意味着我们之前对定义仍然有效，但是现在不起作用，因为它将实际除以。因此，我们可以通过重新缩放为，但是我们不能朝另一个方向前进，因为我们需要将缩放为非零值。 $g(x) = 0 \implies f(x) = 0$ $h$ $h'$ $0$ $g$ $f$ $gh = f$ $0$

现在让我们回到和并用表示我们的RND 。如果，则直观地意味着一个可以重新缩放为另一个，反之亦然。但是通常，我们只希望朝这个方向发展（即将像Lebesgue度量这样的很好的度量重新缩放为更抽象的度量），因此我们只需要就能做有用的事情。重新调整规模是RND的核心。 $\mu$ $\nu$ $f$ $\mu \sim \nu$ $\mu \gg \nu$

回到评论中的@whuber的要点，还有一个微妙之处，就是为什么可以安全地忽略问题。那是因为使用度量，我们只能定义直到度量集合，因此在任何集合，我们都可以使RND取任何值，例如。因此，并不是说本质上是安全的，而是说我们将拥有任何地方都是一组度量 wrt因此我们可以将RND定义为一个不错的值而不影响任何东西。 $0/0$ $0$ $A$ $\mu(A) = 0$ $1$ $0/0$ $0/0$ $0$ $\mu$

例如，假设对于某些，。然后所以我们得到是RND（这可以通过测度定理的变化更正式地证明）。这很好，因为我们已经完全恢复了比例因子。 $k \cdot \mu = \nu$ $k > 0$

ν (A) = \int_{A} d ν = \int_{A} k d μ

$\nu(A) = \int_A \,\text d\nu = \int_A k \,\text d \mu$

f (x) = k = \frac{d ν}{d μ}

$f(x) = k = \frac{\text d\nu}{\text d\mu}$

这是第二个示例，以强调在度量集上更改RND 不会如何影响它们。令，即，如果输入是有理数，则它是标准普通PDF加上，而是具有此密度的RV。这意味着因此，实际上仍然是标准的高斯RV。它不以任何方式影响更改上的的分布，因为它是一组度量 wrt $0$ $f(x) = \varphi(x) + 1_{\mathbb Q}(x)$ $1$ $X$

P (X \in A) = \int_{A} (φ + 1_{Q}) d λ

$P(X \in A) = \int_A \left(\varphi + 1_{\mathbb Q}\right) \,\text d\lambda$

= \int_{A} φ d λ + λ (Q) = \int_{A} φ d λ

$= \int_A \varphi \,\text d\lambda + \lambda\left(\mathbb Q \right) =\int_A \varphi \,\text d\lambda$

X

$X$

X

$X$

Q

$\mathbb Q$

0

$0$

λ

$\lambda$ 。

作为最后一个示例，假设和并令和为它们各自的分布。回想一下，相对于计数度量，pmf是RND ，并且由于具有的属性，因此事实证明 $X \sim \text{Pois}(\eta)$ $Y \sim \text{Bin}(n, p)$ $P_X$ $P_Y$ $c$ $c$ $c(A) = 0 \iff A = \emptyset$

\frac{d P_{Y}}{d P_{X}} = \frac{d P_{Y} / d c}{d P_{X} / d c} = \frac{f_{Y}}{f_{X}}

$\frac{\text dP_Y}{\text dP_X} = \frac{\text dP_Y / \text dc}{\text dP_X / \text dc} = \frac{f_Y}{f_X}$

因此我们可以计算出

P_{Y} (A) = \int_{A} d P_{Y}

$P_Y(A) = \int_A \,\text dP_Y$

= \int_{A} \frac{d P_{Y}}{d P_{X}} d P_{X} = \int_{A} \frac{d P_{Y}}{d P_{X}} \frac{d P_{X}}{d c} d c

$= \int_A \frac{\text dP_Y}{\text dP_X}\,\text dP_X = \int_A \frac{\text dP_Y}{\text dP_X}\frac{\text dP_X}{\text dc}\,\text dc$

= \sum_{y \in A} \frac{d P_{Y}}{d P_{X}} (y) \frac{d P_{X}}{d c} (y) = \sum_{y \in A} \frac{f_{Y} (y)}{f_{X} (y)} f_{X} (y) = \sum_{y \in A} f_{Y} (y) .

$= \sum_{y \in A} \frac{\text dP_Y}{\text dP_X}(y)\frac{\text dP_X}{\text dc}(y) = \sum_{y \in A} \frac{f_Y(y)}{f_X(y)}f_X(y) = \sum_{y \in A} f_Y(y).$

因此，由于在的支持下所有，我们可以将泊松分布的积分重新缩放为二项式分布的积分，尽管由于所有事物都是离散的，所以看起来很平凡结果。 $P(X = n) > 0$ $n$ $Y$

我回答了您的更笼统的问题，但没有涉及吉隆坡的分歧。至少对我而言，我发现从假设检验（例如@kjetil b halvorsen 在这里的答案）方面更容易解释KL差异。如果并且存在一个度量占主导地位，则使用我们可以用密度恢复表格，所以对我来说，这更容易。 $P \ll Q$ $\mu$ $\frac{\text dP}{\text dQ} = \frac{\text dP / \text d\mu}{\text dQ / \text d\mu} := p / q$

— jld
source

我喜欢这个博览会（因为我喜欢你们所有的贡献），但从最底层看，它似乎是基于（重复的）断言，即具有某种意义，但事实并非如此。度量发生了某些事情，这些事情并不会自动发生在实数值的函数中：您可能只是忽略了在度量零集上发生的事情。 这样一来，您就不必在Radon-Nikodym导数设置中避免使用意义。

0 / 0

$0/0$

0 / 0

$0/0$

— ub

@whuber非常感谢您的评论，这真的很有帮助。我已尝试更新以解决该问题

— jld