为什么混乱的问题对于大样本量来说很棘手？

13

假设我们有一组点。每个点是使用分布 $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$ 为了获得后为我们写根据Minka的关于期望传播的论文，我们需要计算以获得后验

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

，因此，对于大样本量

，问题变得棘手。但是，我无法弄清楚为什么在这种情况下我们需要这么多的计算量，因为对于单个

的形式可能为

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

$p(y_i| x)$ $N$

$y_i$ 在此处输入图片说明 $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— 阿列克谢·扎伊采夫（Alexey Zaytsev）
source

N

$N$

O (N)

$O(N)$

x

$x$

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

1

2^{N}

$2^N$ $x$ $2^N$

1

2^{N}

$2^N$

1

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

Answers:

4

$x$ $O(n)$ $x$ $2^N$

— 汤姆·明卡
source

2

$y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

$c_i$ $i$ $0$ $p(y|x)$ $x$

$2^N$

— 戴夫
source

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.