Questions tagged «importance-sampling»

我一直在尝试学习MCMC方法，并遇到了Metropolis Hastings，Gibbs，Importance和Rejection采样。尽管其中一些差异是显而易见的，例如，当我们拥有全部条件时，吉布斯是Metropolis Hastings的特例，而其他差异则不那么明显，例如当我们想在Gibbs采样器中使用MH等时，是否有人查看每种方法之间的大部分差异的简单方法？谢谢！

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

我正在尝试学习强化学习，这个话题确实让我感到困惑。我已经对统计进行了介绍，但是我只是无法直观地理解该主题。

23 variance  simulation  monte-carlo  unbiased-estimator  importance-sampling 

在过去的一年中，我一直在非常接近地进行重要性抽样工作，并且有一些开放性问题，希望能对此有所帮助。 我在重要性采样方案上的实践经验是，它们有时可以产生出色的低方差和低偏差估计。但是，更常见的是，它们倾向于产生高误差估计值，该估计值具有较低的样本方差，但具有很高的偏差。 我想知道是否有人可以确切解释影响重要性抽样估计有效性的哪些因素？我尤其想知道： 1）当偏倚分布具有与原始分布相同的支持时，重要性抽样估计是否可以保证收敛到正确的结果？如果是这样，为什么在实践中似乎要花这么长时间？ 2）通过重要性抽样得出的估计误差与偏差分布的“质量”（即，与零方差分布有多少匹配）之间是否存在可量化的关系？ 3）部分基于1）和2）-有没有一种方法可以量化您必须了解的分布“多少”，然后再使用重要性抽样设计比简单的蒙特卡洛方法更好。

13 monte-carlo  information-theory  importance-sampling 

我的背景是计算机科学。我对蒙特卡洛采样方法还很陌生，尽管我了解数学原理，但我很难拿出直观的示例进行重要性采样。更准确地说，有人可以提供以下示例： 一个原始分布，一个人不能从中抽样，但一个人可以估算 重要度分布，可以从原始分布中进行抽样并得到足够的信息。

12 probability  distributions  sampling  importance-sampling 

我最近开始使用帕累托平滑重要性抽样留一法交叉验证（PSIS-LOO），这些论文对此进行了介绍： Vehtari，A.＆Gelman，A.（2015年）。帕累托平滑重要性抽样。arXiv预印本（链接）。 Vehtari，A.，Gelman，A.，＆Gabry，J.（2016年）。使用留一法交叉验证和WAIC的实用贝叶斯模型评估。arXiv预印本（链接） 这代表了一种非常好的样本外模型评估方法，因为它允许通过一次MCMC运行就可以执行LOO-CV，并且据称比现有的信息标准（例如WAIC）更好。 k^ik^i\hat{k}_ik^i≳0.7k^i≳0.7\hat{k}_i \gtrsim 0.7 不幸的是，我发现在将该方法应用于问题时，对于大多数感兴趣的模型，我发现的很大一部分。毫不奇怪，一些报告的LOO对数似然显然是毫无意义的（与其他数据集相比）。作为双重检查，我执行了传统的（且费时的）10倍交叉验证，发现确实在上述情况下，PSIS-LOO给出了非常错误的结果（从正面来看，结果与10所有的模型的CV。作为记录，我使用的是Aki Vehtari的PSIS-LOO 的MATLAB实现。k^i≫0.7k^i≫0.7\hat{k}_i \gg 0.7k^i≪0.7k^i≪0.7\hat{k}_i \ll 0.7 也许我很倒霉，因为我目前应用此方法的第一个问题对PSIS-LOO来说“困难”，但是我怀疑这种情况可能相对普遍。对于像我这样的案例，Vhttary，Gelman＆Gabry的论文简单地说： 即使PSIS估计具有有限的方差，当，用户也应考虑针对有问题的直接从进行采样，请使用倍交叉验证，或使用更可靠的模型。k^>0.7k^>0.7\hat{k} > 0.7p(θs|y−i)p(θs|y−i)p(\theta^s |y_{−i})iiikkk 这些是显而易见的但不是真正理想的解决方案，因为它们都很费时或需要额外的摆弄（我很欣赏MCMC 和模型评估都是摆弄，但越少越好）。 我们是否可以预先应用任何常规方法来尝试防止 PSIS-LOO失败？我有一些初步的想法，但我想知道人们是否已经采用了经验方法。

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

我有以下离散分布，其中是已知常数：α,βα,β\alpha,\beta p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,…p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots 有什么方法可以有效地从这种分布中采样？

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

我正在尝试回答R中的重要性抽样评估方法积分问题。基本上，用户需要计算 ∫π0f(x)dx=∫π01cos(x)2+x2dx∫0πf(x)dx=∫0π1cos⁡(x)2+x2dx\int_{0}^{\pi}f(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}dx 使用指数分布作为重要性分布 q(x)=λ exp−λxq(x)=λ exp−λxq(x)=\lambda\ \exp^{-\lambda x} 并找到的值，该值可以更好地逼近积分（是）。我重铸问题，因为平均值的评价μ的˚F （X ）超过[ 0 ，π ]：积分然后只是π μ。 λλ\lambdaself-studyμμ\muf(x)f(x)f(x)[0,π][0,π][0,\pi]πμπμ\pi\mu 因此，让是的PDF X 〜ù（0 ，π ），并且让ÿ 〜˚F （X ）：现在的目标是估计p(x)p(x)p(x)X∼U(0,π)X∼U(0,π)X\sim\mathcal{U}(0,\pi)Y∼f(X)Y∼f(X）Y\sim f(X) μ=E[Y]=E[f(X)]=∫Rf(x)p(x)dx=∫π01cos(x)2+x21πdxμ=E[Y]=E[f(X)]=∫Rf(x)p(x)dx=∫0π1cos⁡(x)2+x21πdx\mu=\mathbb{E}[Y]=\mathbb{E}[f(X)]=\int_{\mathbb{R}}f(x)p(x)dx=\int_{0}^{\pi}\frac{1}{\cos(x)^2+x^2}\frac{1}{\pi}dx 使用重要性抽样。我在R中进行了仿真： # clear the environment and set the seed for reproducibility rm(list=ls()) gc() graphics.off() set.seed(1) # function to be integrated f <- function(x){ 1 …

9 r  simulation  exponential  importance-sampling 

我想有效地绘制样品x∈Rdx∈Rdx \in \mathbb{R}^d从N(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)受约束||x||2=1||x||2=1||x||_2 = 1。

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling