MCMC在有界参数空间上？

18

我想一个问题申请MCMC，但我的先验概率（在我的情况下，他们是））被限制在一个区域？我可以使用普通的MCMC并忽略掉在限制区域（在我的情况下是[0,1] ^ 2）之外的样本，即当新的过渡区域超出限制区域时重用过渡函数吗？ $\alpha\in[0,1],\beta\in[0,1]$

sampling mcmc monte-carlo random-walk

— Cupitor
source

2

看一下：xianblog.wordpress.com/tag/constrained-parameter-spaces

— Zen

@Zen，我不太确定，但是Xian建议的答案是对子样本进行抽样，而不是使用MH，而是使用Gibbs采样器并重申某个维度的值之一是否超出边界，对吗？

— Cupitor

1

如果MH在参数空间之外提出建议，则接受概率仅设置为

并且一切正常。我认为MH只是解释

为

（的表现

在测度论）。

0

$0$

0 / 0

$0/0$

0

$0$

0 \cdot \infty = 0

$0 \cdot \infty = 0$

— 家伙

@guy，但是根据西安网页上的讨论（Zen上的链接），看来吉布斯有优势，却没有提及任何理由！

— Cupitor

1

@Cupitor我没看到他这么说。我认为这暗示着Gabriel正在做Gibbbs中的Metropolis。

— 家伙

Answers:

27

您有几个不错的，或多或少的简单选择。您的统一先验可以使他们更简单。

选项1：独立采样器。您可以将提案分配设置为等于单位面积上的均匀分配，以确保样本不会如您所说的那样落在限制区域之外。潜在的缺点：如果后部集中在单位正方形的很小区域，则接受率可能会非常低。OTOH，很难生成比从U（0,1）分布更快的随机数。潜在的好处：减少您的工作量。

选项2：将您的参数转换为无界的东西，为转换后的参数提出建议，然后将这些参数转换回以供似然函数使用。请注意，在这种情况下，先验将在转换后的参数上，因为这是您要提出的建议，因此您必须弄混转换的Jacobian才能获得新的先验。当然，为了进行分析，您需要将MCMC生成的参数随机数转换回原始参数。潜在的不利因素：您需要进行更多的初期工作。潜在优势：建议书的接受率更高。

选项3：构造一个提案分配，而不是位于单位正方形上的独立性采样器。这使您可以保持一致的先验，但是以计算提案概率时的复杂性为代价。例如，将设为参数之一的当前值，将是带有参数的Beta分布。越大，您的提案将越集中在当前值附近。潜在的不利因素：您需要进行更多的初期工作。Pptential一面：更好的接受率的建议-但如果你做 $x$ $(nx, n(1-x))$ $n$ $n$ 太大而靠近某个角落，您可能会在走出弯道之前先在角落进行许多小动作。

选择4：只要拒绝任何超出单位面积的建议（西安的半心半意的建议）。请注意，这不同于仅生成另一个建议。在这种情况下，您将拒绝建议，这意味着参数的下一个值与参数的当前值相同。之所以行之有效，是因为如果您对参数空间的某个区域的先验概率为零，并生成一个落入该区域的随机数，则会发生这种情况。潜在的不利因素：如果您临近拐角，则接受的可能性可能会很低，并会停留一段时间。潜在的好处：减少您的工作量。

选项5：在平面上创建一个扩展的问题，该问题与您要面对的实际问题相同，请正确解决所有问题，然后在对MCMC采样的结果进行后处理时，将所有样本扔到外面单位正方形的潜在的好处：如果很容易制造出这个扩展性的问题，那么对您来说可能会减少工作量。潜在的不利因素：如果马尔可夫链在单位广场外的某个地方徘徊了一段时间，实际上您可能会拥有可怕的验收概率，因为您将丢弃大部分样本。

毫无疑问，还有其他选择，我很想看看其他人的建议！

$n$

— 鲍勃曼
source

投票！非常感谢您提供了如此详尽的答案，但我要努力遵循以下几点：1）实际上，参数空间来自正方形的线段，因此很难通过统一采样来获得2）这实际上似乎不是一个好主意。举一个简单的例子，假设仅通过将外部区域的概率设置为零来扩展有界样本！我猜这会使收敛过程非常缓慢，并且可能类似于二次采样

— Cupitor

3）这个想法的问题是您的建议是不可逆的，因此，最终的抽样方案可能不再是遍历遍历的情况了！

— Cupitor

4）是我尝试的方法，看起来很合理（IMH！）5）这似乎受我在2中提到的示例的困扰，正如您所说的那样，您自己给出的接受率可能会很差！

— Cupitor

2

(0, inf)

$(0,\inf)$

x \in (0, 1)

$x \in (0,1)$

β

$\beta$

α = 2.5

$\alpha=2.5$

(0.5, 1)

$(0.5,1)$

α = 3.2

$\alpha=3.2$

(0, 0.8)

$(0,0.8)$

α = 0.2

$\alpha=0.2$

(0.2, 0)

$(0.2,0)$

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.