Questions tagged «bayesian»

因此，我们知道随机搜索比网格搜索更好，但是最近的方法是贝叶斯优化（使用高斯过程）。我查找了两者之间的比较，却一无所获。我知道，在斯坦福大学的cs231n中，他们只提及随机搜索，但是他们可能想使事情保持简单。 我的问题是：哪种方法通常更好，并且如果答案是“有时是随机搜索，有时是贝叶斯方法”，那么我何时应该优先使用一种方法呢？

14 bayesian  hyperparameter 

我正在寻找一本关于贝叶斯计量经济学的理论上严格的教科书，假定对频密主义计量经济学有扎实的理解。 我想为每个答案建议一项工作，以便可以单独对建议进行投票或否决。

14 bayesian  econometrics  references 

想象一下以下设置：您有2个硬币，保证硬币A 为公平硬币，而硬币B可能为公平硬币，也可能不是。您被要求进行100次硬币翻转，并且您的目标是最大数目的正面。 您有关硬币B的先前信息是，硬币B被翻转3次并产生1个头。如果您的决策规则仅基于比较两个硬币正面的预期概率，则可以将硬币A翻转100次并完成操作。即使使用合理的概率贝叶斯估计（后验均值）也是如此，因为您没有理由相信硬币B产生更多的正面。 但是，如果硬币B实际上偏向正面，该怎么办？在某些情况下，通过翻转硬币B两次（因此获得有关其统计属性的信息）肯定会放弃“潜在的头脑”，这在某种意义上是有价值的，因此会影响您的决策。如何用数学方式描述“信息价值”？ 问题：在这种情况下，如何在数学上构造最佳决策规则？

14 bayesian  decision-theory 

有许多数学方面的文章描述了贝叶斯套索，但是我要测试可以使用的正确JAGS代码。 有人可以发布实现正则逻辑回归的示例BUGS / JAGS代码吗？任何方案（L1，L2，Elasticnet）都不错，但是Lasso是首选。我也想知道是否有有趣的替代实施策略。

14 bayesian  logistic  lasso  jags  regularization 

是否存在REML的贝叶斯解释？根据我的直觉，REML与所谓的经验贝叶斯估计程序非常相似，我想知道是否已经证明了某种渐近等价性（例如，在某种合适的先验条件下）。例如，经验贝叶斯和REML都似乎是面对麻烦参数而采取的“折衷”估计方法。 主要是，我通过这个问题寻求的是这种观点倾向于产生的高级洞察力。当然，如果不能出于某种原因对REML 进行这种性质的论证，那么对为什么这样做的解释也将提供令人欢迎的见解！

14 bayesian  asymptotics  reml 

问题：在变量选择上使用一个优先于另一个的优点/缺点是什么？ 假设我有可能性： 其中I可以把任一先验之一： 或： 瓦特我〜π δ 0 + （1 - π ）Ñ（0 ，100 ）ÿ〜ñ（Xw ^ ，σ2一世）y∼N(Xw,σ2I)y\sim\mathcal{N}(Xw,\sigma^2I)w ^ 我〜EXP （- λ | W ^ 我|）wi∼πδ0+(1−π)N(0,100)π=0.9,wi∼πδ0+(1−π)N(0,100)π=0.9, w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,, wi∼exp(−λ|wi|)λ∼Γ(1,1).wi∼exp⁡(−λ|wi|)λ∼Γ(1,1). w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,. 我用来强调大多数权重为零，并在上加一个伽玛来选择'regularizing'参数。λπ=0.9π=0.9\pi=0.9λλ\lambda 但是，我的教授一直坚持认为套索版本会“缩小”系数，实际上并没有进行适当的变量选择，即相关参数甚至都过度缩小。 由于使用贝叶斯变换，我个人觉得实现套索版本更容易。实际上，有效地使用的稀疏贝叶斯学习论文甚至提供了稀疏解决方案。1|wi|1|wi|\frac{1}{|w_i|}

14 bayesian  feature-selection 

就我（非常基础）的理解而言，朴素贝叶斯根据训练数据中每个要素的类频率来估计概率。但是，它如何计算连续变量的频率？在进行预测时，如何对可能与训练集中的任何观测值不相同的新观测值进行分类？它使用某种距离测量还是找到1NN？

14 machine-learning  classification  bayesian  naive-bayes 

MLE =最大似然估计 MAP =最大后验 MLE是直观/天真的，因为它仅从给定参数（即似然函数）的观察概率开始，并尝试找到与观察最相符的参数。但是它没有考虑先验知识。 MAP似乎更合理，因为它确实考虑了贝叶斯规则中的先验知识。 这是一个相关的问题，但答案并不彻底。 /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d 因此，我认为MAP更好。那正确吗？那我什么时候该使用呢？

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

我已经注意到，在许多实际应用中，即使后验是分析性的，也使用基于MCMC的方法来估计参数（例如，因为先验是共轭的）。对我来说，使用MAP估算器比基于MCMC的估算器更有意义。谁能指出为什么在分析后验的情况下MCMC仍然是合适的方法？

13 bayesian  mcmc  posterior 

什么是贝叶斯深度学习，它与传统贝叶斯统计数据和传统深度学习有何关系？ 涉及的主要概念和数学是什么？我可以说这只是非参数贝叶斯统计吗？它的开创性工作以及当前的主要发展和应用是什么？ PS：贝叶斯深度学习受到了很多关注，请参阅NIPS研讨会。

13 bayesian  deep-learning 

我是贝叶斯统计研究的新手。我从研究人员那里听说，贝叶斯研究人员可以更好地自己实现MCMC，而不是使用JAGS / Stan之类的工具。我可以问一下，除了学习目的之外，自行实现MCMC算法（使用像R这样的“不太快”的语言）有什么好处？

13 bayesian  mcmc 

如何将频繁出现的结果转换为贝叶斯先验结果？ 考虑以下非常普通的场景：过去进行了一次实验，并测量了某些参数结果。该分析是采用常客方法进行的。结果中给出了置信区间。φϕϕ\phiϕϕ\phi 我现在正在进行一些新的实验，我想测量一些其他参数，例如和。我的实验与以前的研究不同---它不是使用相同的方法进行的。我想进行贝叶斯分析，因此需要将先验放在和。φ θ φθθ\thetaϕϕ\phiθθ\thetaϕϕ\phi 以前没有进行过测量，因此我在其上放了一个无信息的信息（例如其统一的信息）。 θθ\theta 如前所述，有一个先前的结果，以置信区间给出。要在我的当前分析中使用该结果，我需要将以前的常客性结果转换为内容丰富的先验信息以进行分析。 ϕϕ\phi 在这种组合方案中不可用的一个选项是重复先前的分析，以贝叶斯方式进行测量。 如果我可以做到这一点，那么将具有先前实验的后验，然后将其用作我的先验，那么就没有问题了。ϕϕ\phi ϕϕ\phi 我应该如何将常客身份CI转换为贝叶斯先验分布以进行分析？或者换句话说，我怎么可能对他们的翻译结果frequentest在成后，我会再在我的分析之前使用？φϕϕ\phiϕϕ\phi 欢迎讨论此类型问题的任何见解或参考。

13 bayesian  confidence-interval  meta-analysis  prior 

我的问题上的担忧影响大小先验概率，在我的项目的措施是科恩的。通过阅读文献，似乎经常使用模糊的先验，例如在众所周知的八种流派的贝叶斯荟萃分析示例中。在这八所学校的示例中，我看到一个模糊的先验用于估计mu，例如 。dDDμθ〜正常（0 ，100 ）μθ∼normal⁡(0,100)\mu_{\theta} \sim \operatorname{normal}(0, 100) 我的学科是心理学，效应的大小通常很小。因此，我正在考虑使用以下优先级：。我如此严格的先验的理由是，根据我对先验的理解，我将先验概率定为-1到1，在95％的先验概率中，有5％的先验概率大于- 1或1。μθ〜正常（0 ，.5 ）μθ∼normal⁡(0,.5)\mu_{\theta} \sim \operatorname{normal}(0, .5)μθμθ\mu_{\theta} 由于影响如此之少，这种先验是否合理？

13 bayesian  meta-analysis  effect-size 

我不明白这个方程式是如何得出的。 P（我| 中号1个∩ 中号2）≤ P（我）P（我′）⋅ P（M1个| 一世）P（M2| 一世）P（M1个| 一世′）P（M2| 一世′）P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} 该方程式来自“概率试验”，其中以OJ Simpson的情况为例。被告正在接受双重谋杀的审判，并提出了两项​​针对他的证据。 中号1个M1M_{1}是被告的血液与犯罪现场发现的一滴血相匹配的事件。是受害者的血液与属于被告的袜子上的血液相匹配的事件。假设有罪，一个证据的出现增加了另一个证据的可能性。 是事件被告是无辜的，而是当他是有罪的。我I '中号2M2M_{2}一世II一世′I′I' 根据这两个证据，我们正在尝试确定被告无罪的可能性的上限。 给出了一些变量的值，但我感兴趣的是方程的推导方式。我尝试了，但是一无所获。 是的，我已经检查了“可能已经有了答案的问题”。

13 bayesian  conditional-probability  bayes 

我以前曾问过这个问题，并且一直在努力确定什么使模型参数以及什么使它成为潜在变量。因此，在本站点上有关该主题的各种主题中，主要区别似乎是： 不会观察到潜在变量，但它们具有相关的概率分布，因为它们是变量，也未观察到参数，也没有与它们相关的分布，据我所知，这些变量是常数，并且具有固定但未知的值，我们正在尝试找。同样，我们可以对参数进行先验表示，以表示我们对这些参数的不确定性，即使只有一个真实值与它们相关联，或者至少是我们所假设的。我希望到目前为止我是对的吗？ 现在，我一直在从期刊论文中查看贝叶斯加权线性回归的示例，并且确实在努力理解什么是参数和什么是变量： yi=βTxi+ϵyiyi=βTxi+ϵyi y_i = \beta^T x_i + \epsilon_{y_i} 这里观察到和，但是只有被视为变量，即具有与之关联的分布。ÿ ÿxxxyyyyyy 现在，建模假设为： y∼N(βTxi,σ2/wi)y∼N(βTxi,σ2/wi) y \sim N(\beta^Tx_i, \sigma^2/w_i) 因此，的方差被加权。yyy 和上也有一个先验分布，分别是正态分布和gamma分布。 w ^ββ\betawww 因此，完整的对数可能性由下式给出： logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)log⁡p(y,w,β|x)=Σlog⁡P(yi|w,β,xi)+log⁡P(β)+Σlog⁡P(wi) \log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i) 现在，据我了解，和都是模型参数。但是，在本文中，他们一直将它们称为潜在变量。我的推论是和都是变量的概率分布的一部分，它们都是模型参数。但是，作者将它们视为潜在的随机变量。那是对的吗？如果是这样，模型参数是什么？w ^ β w ^ ÿββ\betawwwββ\betawwwyyy 可以在这里找到该论文（http://www.jting.net/pubs/2007/ting-ICRA2007.pdf）。 本文是Ting等人的《自动离群值检测：贝叶斯方法》。

13 bayesian  modeling  random-variable  latent-variable