使用MCMC评估高维函数的期望值

10

我正在从事与优化相关的研究项目，最近有了一个在此环境中使用MCMC的想法。不幸的是，我对MCMC方法还很陌生，所以我有几个问题。我将从描述问题开始，然后问我的问题。

我们的问题归结为估算成本函数其中是密度为的维随机变量。。 $c(\omega)$ $\omega = (\omega_1,\omega_2,...\omega_h)$ $h$ $f(\omega)$

在我们的情况下，不存在的封闭形式版本。这意味着我们必须使用蒙特卡洛方法来近似期望值。不幸的是，事实证明，使用MC或QMC方法生成的估计值差异太大，无法在实际环境中使用。 $c(\omega)$ $E[c(\omega)]$

一个想法是，我们必须使用重要性采样分布来生成采样点，该采样点将产生的低方差估计 $E[c(\omega)]$ 。在我们的案例中，理想重要性抽样分布 $g(\omega)$ 必须与大致成比例 $c(\omega)f(\omega)$ 。看看如何知道 $g(\omega)$ 直到常数，我想知道是否可以将MCMC与提案分布 $c(\omega)f(\omega)$ 最终从产生样本 $g(\omega)$ 。

我的问题是：

可以在此设置中使用MCMC吗？如果是这样，哪种MCMC方法合适？我在MATLAB中工作，因此我偏爱已经具有MATLAB实现的任何内容。
有什么我可以用来加速MCMC老化时间的技术。我怎么知道已经达到平稳分布？在这种情况下，对于给定的实际上需要花费相当多的时间来计算。 $c(\omega)$ $\omega$

— 伯克大学
source

最后一段错别字？

代替

？

C (w)

$C(w)$

c (w)

$c(w)$

— mpiktas 2011年

你不具备使用高维积分蒙特卡罗方法仅仅因为一个封闭的形式不存在。您可以使用基于稀疏网格的方法。我不了解自己的优缺点。

— 一站式

@onestop-对的，在我看来，稀疏网格的工作要好一些，尽管我也想测试一下这个想法。

— Berk U.

听起来有点像金融。

— 炒锅

1

它可以应用于金融。不过，我们将其用于电力系统的最佳管理：）

— Berk U.

4

我将永远记住，MCMC只是一个数值积分工具（在那方面效率不高）。这不是什么魔术/神秘的东西。它非常有用，因为它相当容易应用。与其他一些数值积分技术相比，它不需要太多的思考。例如，您不必进行任何派生。您只需要生成“随机数”。

但是，像任何数值积分方法一样，它不是通用的“全部捕获”工具。有条件的时候有用，有条件的时候没有。

$h$ $h$

$\omega$ $f(\omega)$ $\omega\rightarrow\omega_{max}$

$f(\omega)\approx f(\omega_{max})+(\omega-\omega_{max})f'(\omega_{max})+\frac{1}{2}(\omega-\omega_{max})^{2}f''(\omega_{max})+\dots$

$\omega$

Edwin Jaynes对此有很好的报价：

只要有一种随机的方式来做某事，就会有一种非随机的方式来产生更好的结果，但是需要更多的思考

一种“多思考”的方法是使用“分层MCMC”进行积分。因此，与其在整个参数空间中“随机”选择一个位置，不如：将其划分为“分层”。应该选择这些“层”，以便您可以很好地获取积分的较高部分。然后在每个层中随机取样。但这将需要您编写自己想像的代码（即更多的思考）。

— 概率逻辑
source

非常感谢您的帖子。我非常喜欢您的分层MC想法。我想知道您是否了解它的任何资源，以便我可以阅读它？任何具有实际作用的例子将不胜感激。

— Berk U.

这是我的想法，所以我不知道任何资源。通过添加定义层次的另一层，可以将其放入MCMC框架。我的主要弱点之一是做事-我是一个内心的思想家！我知道这对您没有太大帮助，对此我深表歉意。但可以肯定的是，我不是唯一想到这一点的人。任何进行过“基于设计”统计和“贝叶斯统计”的人肯定会想到这一点。

— 概率

2

没有任何迹象表明这里的变量是相关的，所以我不知道为什么要使用MCMC而不是常规的Monte Carlo。有许多不同的采样方法，包括提到的分层采样（Latin hypercube）和QMC。如果问题的维数不太高（不超过10），则稀疏正交方法会非常好，因为稀疏正交网格会以几何形式增长（维数诅咒）。

但是听起来您在重要性抽样方面正处于正确的轨道上。此处的关键是选择一个偏差分布，该偏差分布的可能性很大，集中在您感兴趣的区域附近，并且其尾部比正常分布更粗。

我想补充一点，这是一个开放的研究问题，因此，如果您能提出好的建议，将对社区产生极大的兴趣！

— 加里
source

谢谢你！您能否详细说明一下MCMC的有效性和变量之间的相关性之间的关系？我一直认为变量相关时，MCMC会比现有的数值积分技术更具优势-尽管我无法提供理由。

— Berk U.

0

$g(\omega)$

此外，您可能希望在MC集成字段中查找方差减少技术。斯坦福大学的Art Owen提供了许多免费的自有书籍资源。特别是第8、9和10章。

在那里，您将找到自适应采样，递归和其他技术的深入处理。

— 爵士骑士
source