Questions tagged «bayesian»

因此，在（无监督的）文本建模中，潜在狄利克雷分配（LDA）是概率潜在语义分析（PLSA）的贝叶斯版本。本质上，LDA = PLSA + Dirichlet优先于其参数。我的理解是，LDA现在是参考算法，并以各种程序包实现，而PLSA不再使用。 但是在（监督）文本分类中，我们可以对多项式朴素贝叶斯分类器执行完全相同的操作，并将Dirichlet放在参数之前。但是我认为我从未见过有人这样做，并且多项朴素贝叶斯的“点估计”版本似乎是大多数软件包中实现的版本。有什么理由吗？

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

我试图了解因果贝叶斯网络中的d-分离逻辑。我知道算法的工作原理，但我不完全理解为什么 “信息流”如算法中所述工作。 例如，在上图中，让我们以为我们只有X，没有观察到其他变量。然后根据d分离的规则，信息从X流向D： X影响A，这是P（A ）≠ P（A | X）P（一种）≠P（一种|X）P(A)\neq P(A|X)。可以，因为A导致X，并且如果我们知道X的影响，那么这会影响我们对原因A的信念。信息流。 X影响B，即P（B ）≠ P（B | X）P（乙）≠P（乙|X）P(B)\neq P(B|X)。这是可以的，因为由于我们对X的了解而改变了A，所以A处的更改也会影响我们对其原因B的信念。 X影响C，即。之所以可以，是因为我们知道B受其间接效应X的偏见，并且由于B受X的偏见，这将影响B的所有直接和间接影响。C是B的直接效应，它受我们对X的了解的影响。P（C）≠ P（C| X）P（C）≠P（C|X）P(C)\neq P(C|X) 好了，到目前为止，对我来说一切都很好，因为信息流是根据直观的因果关系发生的。但是在这种方案中，我没有得到所谓的“ V型结构”或“对撞机”的特殊行为。根据d-分离理论，B和D是上图中C的常见原因，它表示，如果我们未观察到C或其任何后代，则来自X的流量信息将在C处阻塞。 ，但是我的问题是为什么？ 从上面的三个步骤开始，从X开始，我们看到C受关于X的知识的影响，并且信息流根据因果关系发生。d-分离理论说，由于没有观察到C，所以我们不能从C转到D。但是我认为，既然我们知道C是有偏见的，而D是C的原因，那么D也应该受到影响，而理论却相反。我显然在思维模式中缺少某些东西，但看不到它是什么。 因此，我需要一个解释，说明如果没有观察到C，为什么信息流会阻塞在C处。

15 bayesian  causality  graphical-model  bayesian-network 

我目前正在阅读Yang撰写的计算分子进化中的贝叶斯方法。在5.2节中，它讨论了先验，特别是非信息性/平坦/模糊/漫射，共轭和超先验。 这可能要求过分简化，但是，有人可以简单解释一下这些先验类型之间的区别，以及这如何影响我在贝叶斯分析过程中所做的分析/决策的结果？ （我不是统计学家，我只是在学习贝叶斯分析的道路上开始，所以从外行角度讲，越多越好）

15 bayesian  prior 

我需要以很少的样本“学习”一个双变量高斯分布，但是对于先验分布有一个很好的假设，因此我想使用贝叶斯方法。 我定义我的在先： P(μ)∼N(μ0,Σ0)P(μ)∼N(μ0,Σ0) \mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0}) μ0=[00] Σ0=[160027]μ0=[00] Σ0=[160027] \mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix} 和我的分销给定的假说 P(x|μ,Σ)∼N(μ,Σ)P(x|μ,Σ)∼N(μ,Σ) \mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma}) μ=[00] Σ=[180018]μ=[00] Σ=[180018] \mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = …

15 distributions  bayesian  estimation  covariance  posterior 

我对什么是消息传递方法有一个模糊的认识：一种算法，该算法通过在所有其他因子的所有近似值的基础上迭代构建分布的每个因子的近似值来构建分布的近似值。 我相信这两个都是变体消息传递和期望传播的示例。什么是更明确/正确的消息传递算法？欢迎参考。

15 distributions  bayesian  references  algorithms 

有人可以推荐我一个很好的参考资料来解释贝叶斯统计与生成建模技术之间的联系吗？为什么我们通常将生成模型与贝叶斯技术一起使用？ 为什么在根本没有完整数据的情况下使用贝叶斯统计量尤其吸引人？ 请注意，我来自一个面向机器学习的观点，并且我有兴趣从统计界阅读更多有关它的内容。 任何很好的参考资料，讨论这些要点将不胜感激。谢谢。

15 bayesian  generative-models 

给定两个长度均为n的数组x和y，我拟合了模型y = a + b * x，并希望计算斜率的95％置信区间。这是（b-delta，b + delta），其中b是通常找到的， delta = qt(0.975,df=n-2)*se.slope se.slope是斜率的标准误差。从R获得斜率标准误差的一种方法是summary(lm(y~x))$coef[2,2]。 现在，假设我写出给定x和y的斜率的可能性，将其乘以“平坦”的先验，然后使用MCMC技术从后验分布中得出样本m。限定 lims = quantile(m,c(0.025,0.975)) 我的问题：(lims[[2]]-lims[[1]])/2大约等于上面定义的增量吗？ 附录下面是一个简单的JAGS模型，这两个模型似乎有所不同。 model { for (i in 1:N) { y[i] ~ dnorm(mu[i], tau) mu[i] <- a + b * x[i] } a ~ dnorm(0, .00001) b ~ dnorm(0, .00001) tau <- pow(sigma, -2) …

15 r  regression  bayesian  confidence-interval  frequentist 

诸如Metropolis-Hastings和Gibbs采样之类的MCMC算法是从联合后验分布中采样的方法。 我想我理解并可以很轻松地实现城市改造-您只需以某种方式选择起点，并在后验密度和投标密度的指导下随机“遍历参数空间”。Gibbs采样看起来非常相似，但是效率更高，因为它一次只更新一个参数，而其他参数保持不变，从而以正交方式有效地遍历空间。 为此，您需要解析from *中每个参数的完整条件。但是这些全部条件从何而来？ P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn)P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn) P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} 要得到分母，您需要在上将关节边缘化x1x1x_1。如果有许多参数，这似乎需要大量工作来进行分析，如果联合分布不是很“好”，则可能很难处理。我意识到，如果在整个模型中使用共轭，则完整的条件可能很容易，但是对于更一般的情况，必须有一种更好的方法。 我在网上看到的所有吉布斯抽样示例都使用了玩具示例（例如从多变量法线抽样，条件变量本身就是法线），并且似乎可以避免这个问题。 *还是根本不需要分析形式的完整条件？像winBUGS这样的程序是如何做到的？

15 bayesian  mcmc  gibbs 

使用MCMC估计混合模型时，标签切换（即，后验分布对于切换组件标签是不变的）是一个有问题的问题。 是否有一种标准的方法（如被广泛接受的方法）来解决该问题？ 如果没有标准方法，那么解决标签交换问题的主要方法的利弊是什么？

15 bayesian  mcmc  mixture 

Pr(data)Pr(data)\Pr(\textrm{data}) Pr(parameters∣data)=Pr(data∣parameters)Pr(parameters)Pr(data)Pr(parameters∣data)=Pr(data∣parameters)Pr(parameters)Pr(data)\Pr(\text{parameters} \mid \text{data}) = \frac{\Pr(\textrm{data} \mid \textrm{parameters}) \Pr(\text{parameters})}{\Pr(\text{data})} 被称为归一化常数。到底是什么 目的是什么？为什么看起来像Pr(data)Pr(data)\Pr(data)？为什么不取决于参数？

15 probability  bayesian 

作为一个物理专业的学生，​​我大概经历了六次“为什么我是贝叶斯”的演讲。总是一样的-主持人自鸣得意地解释了贝叶斯解释如何优于大众所称的常客主义解释。他们提到了贝叶斯规则，边缘化，先验和后验。 真实的故事是什么？ 是否有适用于常客统计数据的合法适用范围？（肯定要多次采样或滚动模具吗？） 除了“贝叶斯”和“频率论者”之外，还有没有其他有用的概率论？

15 probability  bayesian  frequentist 

我想在分布中使用贝叶斯模型对短期资产收益进行建模。我想估计分布的两个自由度（以及模型中的其他参数）。我知道资产收益是很不正常的，但除此之外我不知道太多。 对于这种模型中的自由度，适当的，适度信息量的先验分布是什么？

15 distributions  bayesian  modeling  prior 

通常情况下，具有95％覆盖率的置信区间与包含95％后验密度的可信区间非常相似。当先验是均匀的或在后者情况下接近均匀时，会发生这种情况。因此，置信区间通常可以用来近似可信区间，反之亦然。重要的是，我们可以由此得出结论，对于许多简单的用例而言，将置信区间作为可信区间的误解很多，几乎没有实际意义。 有许多没有发生这种情况的例子，但是它们似乎都被贝叶斯统计的拥护者挑剔，试图证明这种惯常方法是有问题的。在这些示例中，我们看到置信区间包含不可能的值等，这应该表明它们是无稽之谈。 我不想回顾那些例子，也不想对贝叶斯与频频主义者进行哲学讨论。 我只是在寻找相反的例子。在任何情况下，置信度和可信度间隔都大不相同，并且置信度过程提供的间隔明显更好吗？ 需要说明的是：这是通常期望可信区间与相应的置信区间重合的情况，即使用先验，统一等先验时的情况。我对有人选择事先任意决定的情况不感兴趣。 编辑： 为响应@JaeHyeok Shin的以下回答，我必须不同意他的示例使用正确的可能性。我使用近似贝叶斯计算来估计下面R中theta的正确后验分布： ### Methods ### # Packages require(HDInterval) # Define the likelihood like <- function(k = 1.2, theta = 0, n_print = 1e5){ x = NULL rule = FALSE while(!rule){ x = c(x, rnorm(1, theta, 1)) n = length(x) x_bar = mean(x) rule = …

14 bayesian  confidence-interval  frequentist  credible-interval 

您能否逐步解释一下汉密尔顿蒙特卡洛的工作原理？ PS：我已经读答案在这里，汉密尔顿蒙特卡罗，在这里，汉密尔顿蒙特卡洛与序贯蒙特卡罗，在这里，汉密尔顿蒙特卡洛：如何使大都市黑廷斯建议的意义吗？并且他们没有逐步解决它。

14 bayesian  hmc 

因此，这可能是一个常见问题，但我从未找到令人满意的答案。 您如何确定原假设为真（或假）的概率？ 假设您给学生提供了两种不同的测试版本，并且想要查看这些版本是否等效。您执行t检验，其p值为.02。多么好的p值！那一定意味着测试不可能等效，对吗？不会。不幸的是，看来P（results | null）不能告诉您P（null | results）。正常的做法是在遇到低p值时拒绝原假设，但是我们如何知道我们并未拒绝很可能是真的原假设呢？举一个愚蠢的例子，我可以设计一个误报率为0.02的埃博拉病毒测试：将50个球装进一个桶中，并在上面写下“埃博拉病毒”。如果我对此进行测试，然后他们选择“埃博拉”球，则p值（P（捡起球|他们没有埃博拉））为.02， 到目前为止，我已经考虑过的事情： 假设P（null | results）〜= P（results | null）–对于某些重要应用显然是错误的。 在不知道P（null |结果）的情况下接受或拒绝假设–那么我们为什么接受或拒绝它们呢？难道我们不是要拒绝我们认为是假的而是接受是假的全部吗？ 使用贝叶斯定理–但是您如何获得先验？您是否最终还是回到原地试图通过实验确定它们？先验地挑选他们似乎很武断。 我在这里发现了一个非常类似的问题：stats.stackexchange.com/questions/231580/。这里的一个答案似乎基本上是在说，因为这是贝叶斯问题，所以问零假设为真的可能性是没有意义的。也许我的心是贝叶斯，但我无法想象不问这个问题。实际上，p值最常见的误解似乎是它们是真实零假设的概率。如果您真的不能作为常客问这个问题，那么我的主要问题是＃3：如何在不陷入困境的情况下获得先验知识？ 编辑：感谢您的所有周到的答复。我想谈谈几个共同的主题。 概率的定义：我肯定对此有很多文献，但是我的幼稚概念是“相信完全理性的人会提供信息”或“在这种情况下能使利润最大化的下注几率”被重复，未知数被允许改变”。 我们可以知道P（H0 |结果）吗？当然，这似乎是一个棘手的问题。但是我相信，每个概率在理论上都是可以理解的，因为概率总是以给定信息为条件。每个事件都会发生或不会发生，因此没有完整的信息就不存在概率。它仅在没有足够信息时存在，因此应该是可知的。例如，如果我被告知某人有一个硬币，并询问正面的概率，我会说是50％。可能硬币的正面重量为70％，但我没有得到该信息，所以我所拥有的信息的概率为50％，就像它碰巧掉在地上一样，概率为70％当我知道这一点。由于概率总是以一组（不足的）数据为条件， 编辑：“总是”可能太强了。可能存在一些我们无法确定概率的哲学问题。尽管如此，在现实世界中，尽管我们可以“几乎永远”拥有绝对的确定性，但“几乎总是”应该是一个最佳估计。

14 probability  hypothesis-testing  bayesian