与抽样成本

我遇到了以下模拟问题：给定一组已知实数的，在上的分布由其中表示的正数。虽然我可以靶向这种分布认为大都市，黑斯廷斯样的，我不知道是否存在一个有效的直接取样，取大量的零个概率的优势，从降低算法的顺序至。 $\{\omega_1,\ldots,\omega_d\}$ $\{-1,1\}^d$

P (X = (x_{1}, \dots, x_{d})) \propto (x_{1} ω_{1} + \dots + x_{d} ω_{d})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$

(z)_{+}

$(z)_+$

z

$z$

O (2^{d})

$O(2^d)$

O (d)

$O(d)$

— 西安
source

这是一个相当明显的递归采样器，在最佳情况下（权重）为，在最坏情况下为指数。 $O(d)$ $\omega_i$

假设我们已经选择了并希望选择。我们需要计算和选择的概率为对于样本任何有效选择，分母将为非零。 $x_1, \dots, x_{i-1}$ $x_{i}$

w （ X_{1个} ， \dots ， X_{一世 - 1个} ， X_{一世} ） = \sum_{X_{一世 + 1个} \in {- 1个 ， 1个}} \dots \sum_{X_{d} \in {- 1个 ， 1个}} {（ \sum_{Ĵ = 1个}^{d} ω_{Ĵ} X_{Ĵ} ）}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$

x_{i} = 1

$x_i = 1$

\frac{w （ X_{1个} ， \dots ， X_{一世 - 1个} ， 1个 ）}{w （ X_{1个} ， \dots ， X_{一世 - 1个} ， 1个 ） + w （ X_{1个} ， \dots ， X_{一世 - 1个} ， - 1个 ）} 。

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$

现在，当然，问题是如何计算。 $w(x_1, \dots, x_i)$

如果我们有，那么对于任何带有，因此变为： $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \ge 0$ $x$ $x_{1:i}$ $w$

\begin{aligned} \sum_{X_{一世 + 1个}} \dots \sum_{X_{d}} ω \cdot X & = ω \cdot （ \sum_{X_{一世 + 1个}} \dots \sum_{X_{d}} X ） \\ = \sum_{Ĵ = 1个}^{一世} ω_{Ĵ} \underset{2^{d - 一世} X_{Ĵ}}{\underset{⏟}{（ \sum_{X_{一世 + 1个}} \dots \sum_{X_{d}} X_{Ĵ} ）}} + \sum_{Ĵ = 一世 + 1个}^{d} ω_{Ĵ} \underset{0}{\underset{⏟}{（ \sum_{X_{一世 + 1个}} \dots \sum_{X_{d}} X_{Ĵ} ）}} \\ = 2^{d - 一世} C 。 \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

在相反的情况下，，我们得到，因此。 $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \le 0$ $w(x_1, \dots, x_i) = 0$

否则，我们必须使用递归。 $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$

假设内存不是问题，并且我们可以将，所有子计算都缓存在树中–直到我们遇到了“ nice”情况之一之后，通话需要固定的时间。（无论如何，我们都需要计算整个树以选择。）然后，一旦构建了这计算树，采样器将仅花费时间。问题是建造树需要多长时间，或者等效地，它有多大。 $w(1)$ $w(-1)$ $x_1$ $w$ $O(d)$

如果将排序为我们当然会更快地处理“ nice”情况。 $\omega_i$ $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$

在最佳情况下，。然后我们立即为或命中一个“不错”的情况，因此树的构建需要恒定的时间，整个采样器需要时间。 $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ $w(1)$ $w(-1)$ $w$ $O(d)$

在最坏的情况下，。那么问题是：总树有多大？ $\omega_1 = \omega_2 = \dots = \omega_d$

好吧，终止的第一个路径当然是长度为和。因此，树达到该深度为止是完整的，因此至少包含节点。（它有更多；您可能会找到与赌徒的破产问题中使用的参数类似的参数，但是我在谷歌搜索的两分钟内找不到它，也不必特别在意– 不好足够....） $(1, 1, \dots, 1)$ $(-1, -1, \dots, -1)$ $\lceil d/2 \rceil$ $O(2^{d/2})$ $2^{d/2}$

如果您的设置只有几个非常大的，那么这可能是一种合理实用的方法。如果大小都相似，则对于大来说，它可能仍然是指数级的并且太昂贵了。 $\omega_i$ $\omega_i$ $d$

— 杜加尔
source

感谢您采用这种维特比消除方式。当您编写“在相反情况下”时，我认为您的意思不是第一种情况的补码

C_{一世} \leq - \sum_{Ĵ = 一世 + 1个}^{d} | ω_{Ĵ} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$

C_{一世} \geq \sum_{Ĵ = 一世 + 1个}^{d} | ω_{Ĵ} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— 西安

不，不是补码：当截断很大时，您会知道不应用截断；当截断很小时，您将始终应用截断；在这两者之间，您必须递归计算出何时应用或不应用截断。

— Dougal '18