随着越来越多的数据收集，似然比发生了什么？

令，和为密度，并假设您有，。作为的似然比什么？（收敛吗？到什么？） $f$ $g$ $h$ $x_i \sim h$ $i \in \mathbb{N}$

\prod_{i = 1}^{n} \frac{f (x_{i})}{g (x_{i})}

$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$

n \to \infty

$n \rightarrow \infty$

例如，我们可以假设。一般情况也很有趣。 $h = g$

convergence asymptotics likelihood-ratio

— 奥利维尔
source

在没有信息论的情况下

— 西安

@西安我认为将此问题添加到SE允许跨答案中的问题绘制连接。尽管答案可能相似，但问题并不相同。

— 约翰

感谢您的链接。这个问题不是重复的，即使我的问题的答案可能涉及Kullback-Leibler分歧。

— Olivier

Answers:

如果采用该乘积的对数，则并将其转换为平均适用大数定律，因此人们几乎可以肯定地收敛假设此积分是定义明确的[反例很容易得到]。

r = \log \prod_{i = 1}^{n} \frac{f (x_{i})}{g (x_{i})} = \sum_{i = 1}^{n} \log \frac{f (x_{i})}{g (x_{i})}

${\mathfrak{r}}=\log \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} = \sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$

{\bar{r}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} \log \frac{f (x_{i})}{g (x_{i})}

$\bar{\mathfrak{r}}_n=\frac{1}{n}\sum_{i=1}^n \log\frac{f(x_i)}{g(x_i)}$

{\bar{r}}_{n} \overset{a.s.}{⟶} E_{h} [\log \frac{f (X)}{g (X)}] = \int_{X} \log \frac{f (x)}{g (x)} h (x) d x

$\bar{\mathfrak{r}}_n\stackrel{\text{a.s.}}{\longrightarrow}\mathbb{E}_h\left[\log \frac{f(X)}{g(X)}\right]=\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$

例如，如果，和分别是均值，和0的，且均具有方差1，则是 $f$ $g$ $h$ $\mu_1$ $\mu_2$

\int_{X} \log \frac{f (x)}{g (x)} h (x) d x

$\int_\mathfrak{X} \log\frac{f(x)}{g(x)}\,h(x)\,\text{d}x$

\int_{X} {(x - μ_{1})^{2} - (x - μ_{2}^{2})} φ (x) d x = μ_{1}^{2} - μ_{2}^{2} .

$\int_\mathfrak{X} \{(x-\mu_1)^2-(x-\mu^2_2)\}\,\varphi(x)\,\text{d}x= \mu_1^2-\mu^2_2\,.$

还要注意，如果不求平均值，乘积几乎肯定会收敛为零（当）。尽管乘积几乎可以肯定地收敛到零或无穷大，这取决于或在Kullback-Leibler散度意义上是否更接近。（当）。

\prod_{i = 1}^{n} \frac{f (x_{i})}{h (x_{i})}

$\prod_{i=1}^n \frac{f(x_i)}{h(x_i)}$

x_{i} \sim h (x)

$x_i\sim h(x)\,$

\prod_{i = 1}^{n} \frac{f (x_{i})}{g (x_{i})}

$\prod_{i=1}^n \frac{f(x_i)}{g(x_i)}$

g

$g$

f

$f$

h

$h$

x_{i} \sim h (x)

$x_i\sim h(x)\,$

— 西安
source

你能得出一个答案吗？最后一个整数是否非零（例如）？

g = h

$g=h$

— Olivier

为什么要为零？如果，则为零；如果且为正。如果且为负。如果和与距离相等，则，和也可以为零。

f = g

$f=g$

f = h

$f=h$

g \neq h

$g\ne h$

g = h

$g=h$

f \neq h

$f\ne h$

f \neq h

$f\ne h$

f \neq g

$f\ne g$

g \neq h

$g \ne h$

f

$f$

g

$g$

h

$h$

— 西安

您与等距离的意思是什么？您能详细说明一下吗？您的答案很有趣，但是还没有（直接）回答问题。

h

$h$

— Olivier

主要问题。因为，所以最后一个积分的符号决定了比率的渐近行为。

r = n r_{n}

$\mathfrak{r}= n \mathfrak{r}_n$

— 奥利维尔（Olivier）

令。考虑量被强法大数， $Z_n = \prod^n_i \frac{p(x)}{q(x)}$

W_{n} = \frac{1}{n} l o g (Z_{n}) = \frac{1}{n} \sum_{i}^{n} l o g (\frac{p (x)}{q (x)})

$W_n = \frac{1}{n}log(Z_n) = \frac{1}{n}\sum_i^n log(\frac{p(x)}{q(x)})$

lim_{n \to \infty} W_{n} = E_{q (x)} [l o g (\frac{p (x)}{q (x)})] = \int_{X} l o g (\frac{p (x)}{q (x)}) q (x) d x

$\lim_{n \rightarrow \infty} W_n = E_{q(x)}[log(\frac{p(x)}{q(x)})] = \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx$

由于并且那个，因此 $log(a) < a-1 \ \forall a > 0$ $a \neq 1$ $\frac{p(x)}{q(x)} > 0$ $p(x) \neq q(x)$

W_{n} \to \int_{X} l o g (\frac{p (x)}{q (x)}) q (x) d x < \int_{X} (\frac{p (x)}{q (x)} - 1) q (x) d x = \int_{X} p (x) d x - \int_{X} q (x) d x = 1 - 1 = 0

$W_n \rightarrow \int_\mathcal{X} log(\frac{p(x)}{q(x)})q(x)dx < \int_\mathcal{X} (\frac{p(x)}{q(x)} - 1)q(x)dx = \int_\mathcal{X} p(x)dx - \int_\mathcal{X} q(x)dx = 1 - 1 = 0$ 这给我们

lim_{n \to \infty} W_{n} < 0 ⟹ lim_{n \to \infty} \frac{1}{n} l o g (Z_{n}) < 0 ⟹ lim_{n \to \infty} n \cdot \frac{1}{n} l o g (Z_{n}) = - \infty ⟹ lim_{n \to \infty} l o g (Z_{n}) = - \infty ⟹ lim_{n \to \infty} Z_{n} = 0 ◼

$\lim_{n \rightarrow \infty} W_n < 0 \implies \lim_{n \rightarrow \infty} \frac{1}{n}log(Z_n) < 0 \implies \lim_{n \rightarrow \infty} n \cdot \frac{1}{n}log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} log(Z_n) = -\infty \\ \implies \lim_{n \rightarrow \infty} Z_n = 0 \ \blacksquare$

— ga
source