Questions tagged «posterior»

当获得MCMC样本以推断特定参数时，应针对哪些有效样本的最小数量进行指导？ 而且，随着模型变得越来越复杂，此建议是否会改变？

13 bayesian  sample-size  mcmc  posterior 

假设我们有一组点。每个点y i是使用分布 p （y i | x ）= 1生成的y ={ y1个，ÿ2，… ，yñ}y={y1,y2,…,yN}\mathbf{y} = \{y_1, y_2, \ldots, y_N \}ÿ一世yiy_i 为了获得后为X我们写 p（X|Ý）αp（Ý|X）p（X）=p（X） ñ Π我=1个p（ÿ我|X）。 根据Minka的关于期望传播的论文，我们需要2N计算以获得后验p （ÿ一世| x）= 12ñ（x ，1 ）+ 12ñ（0 ，10 ）。p(yi|x)=12N(x,1)+12N(0,10). p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10). Xxxp （x | y）∝ p （y | x ）p …

13 bayesian  mixture  posterior 

当推断用于生成 D维向量的正态分布的精度矩阵时 我们通常将Wishart放在之前，因为Wishart分布是具有已知均值和未知方差的多元正态分布的命题： 其中是自由度和的ΛΛ\boldsymbol{\Lambda}NNNx1,..,xNx1,..,xN\mathbf{x_1},..,\mathbf{x_N} xi∼N(μ,Λ−1)xi∼N(μ,Λ−1)\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}ΛΛ\boldsymbol{\Lambda}Λ∼W(υ,Λ0)Λ∼W(υ,Λ0)\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}υυ\upsilonΛ0Λ0\boldsymbol{\Lambda_0}比例矩阵。为了增加模型的鲁棒性和灵活性，我们对Wishart的参数设置了优先级。例如，Görür和Rasmussen建议： 其中是伽马分布。Λ01υ−D+1∼W(D,1DΛx)∼G(1,1D)Λ0∼W(D,1DΛx)1υ−D+1∼G(1,1D)\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}GG\mathcal{G} 题： 为了采样Λ0Λ0\boldsymbol{\Lambda_0} p(Λ0|X,Λ,υ,D,Λx)∝W(Λ|υ,Λ0)W(Λ0|D,1DΛx)p(Λ0|X,Λ,υ,D,Λx)∝W(Λ|υ,Λ0)W(Λ0|D,1DΛx)\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ …

12 bayesian  posterior  hierarchical-bayesian  conjugate-prior  wishart 

计算科学也曾问过这个问题。 我试图计算一些系数的自回归的贝叶斯估计，11个的数据样本： 其中 ε 我是高斯均值为0，方差 σ 2 ë 于载体上的先验分布（μ ，α ）吨是高斯均值（0 ，0 ），并与对角项等于一个对角协方差矩阵到 σ 2 pYi=μ+α⋅Yi−1+ϵiYi=μ+α⋅Yi−1+ϵi Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i} ϵiϵi\epsilon_{i}σ2eσe2\sigma_{e}^{2}(μ,α)t(μ,α)t(\mu, \alpha)^{t}(0,0)(0,0)(0,0)σ2pσp2\sigma_{p}^{2}。 基于自回归式，这意味着，数据点（分布）是正常的均值μ + α ＆CenterDot;＆YiYiY_{i}和方差 σ 2 ë。因此，所有数据点（Y ）的密度共同（假设独立性，这对我正在编写的程序很好）将为： p （Yμ+α⋅Yi−1μ+α⋅Yi−1\mu + \alpha\cdot{}Y_{i-1}σ2eσe2\sigma_{e}^{2}(Y)(Y)(Y)p(Y|(μ,α)t)=∏i=21112πσ2e−−−−√exp−(Yi−μ−α⋅Yi−1)22σ2e.p(Y|(μ,α)t)=∏i=21112πσe2exp⁡−(Yi−μ−α⋅Yi−1)22σe2. p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}. 根据贝叶斯定理，我们可以将上述密度与先验密度相乘，然后只需要归一化常数即可。我的直觉是，这应该算是高斯分布，因此我们可以担心最后的归一化常数，而不用用和α上的积分来显式地计算它。μμ\muαα\alpha 这是我遇到的麻烦。如何计算先验密度（即多元变量）与单变量数据密度乘积的乘积？后验纯粹是和α的密度，但是我看不到如何从这样的乘积中得到。μμ\muαα\alpha …

12 bayesian  mathematical-statistics  posterior 

在Kevin Murphy 对高斯分布的共轭贝叶斯分析中，他写道，后验预测分布是 p （x ∣ D ）= ∫p （X | θ ）p （θ | d ）dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta 其中是适合模型的数据，而是看不见的数据。我不明白的是为什么对的依赖性在积分的第一项中消失了。使用基本的概率规则，我期望：dDDXxxdDD p （a ）p （a ∣ b ）p （x ∣ D ）= ∫p （a ∣ c ）p （c ）dC= ∫p …

12 bayesian  predictive-models  inference  posterior 

（此问题的灵感来自西安的评论。） 众所周知的是，如果先验分布π（θ ）π(θ)\pi(\theta)是适当的和似然L （θ | x ）L(θ|x)L(\theta | x)是良好定义的，然后将后验分布π（θ | X ）α π（θ ）L （θ | x ）π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x)几乎可以肯定是正确的。 在某些情况下，我们改用经过调和或取幂的可能性，从而导致伪后验 π〜（θ | X ）α π（θ ）L （θ | x ）απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha 为一些α > 0α>0\alpha>0（例如，这可以具有计算上的优点）。 在这种情况下，是否可能有适当的先验但伪后验不当？

11 bayesian  prior  posterior 

我正在研究Normal-Wishart后验的推导，但是我陷入了其中一个参数（比例矩阵的后验，见底部）的问题。 仅出于上下文和完整性考虑，以下是模型和其他派生工具： xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} &\sim \mathcal{W}(\upsilon_0, \mathbf{W}_0) \end{align} 这三个因子中每个因子的展开形式为（最大比例常数）为： 可能性： N(xi|μ,Λ)∝|Λ|N/2exp(−12∑i=1N(xTiΛxi−2μTΛxi+μTΛμ))N(xi|μ,Λ)∝|Λ|N/2exp⁡(−12∑i=1N(xiTΛxi−2μTΛxi+μTΛμ))\begin{align} \mathcal{N}(\mathbf{x}_i &| \boldsymbol{\mu}, \boldsymbol{\Lambda}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{N/2} \exp{\left(-\frac{1}{2}\sum_{i=1}^N \left( \mathbf{x}_i^T\boldsymbol{\Lambda}\mathbf{x}_i - 2 \boldsymbol{\mu}^T \boldsymbol{\Lambda}\mathbf{x}_i + \boldsymbol{\mu}^T\boldsymbol{\Lambda}\boldsymbol{\mu}\right) \right)} \end{align} 普通优先级： N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp(−12(μTκ0Λμ−2μTκ0Λμ0+μT0κ0Λμ0))N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp⁡(−12(μTκ0Λμ−2μTκ0Λμ0+μ0Tκ0Λμ0))\begin{align} \mathcal{N}(\boldsymbol{\mu} &| (\boldsymbol{\mu}_0, \kappa_0 \boldsymbol{\Lambda})^{-1}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{1/2} \exp{\left(-\frac{1}{2}\left( \boldsymbol{\mu}^T\kappa_0 \boldsymbol{\Lambda}\boldsymbol{\mu} - …

11 bayesian  posterior 

我一直在阅读有关最大似然估计和最大后验估计的信息，到目前为止，我仅遇到了有关最大似然估计的具体示例。我已经找到了一些最大后验估计的抽象示例，但是还没有具体的数字：S 它可能非常庞大，只使用抽象变量和函数，并且为了不被这种抽象淹没，不时将事物与现实世界联系起来是很好的。但是，当然，这只是我（和其他一些人）的观察:) 因此，有谁能给我一个简单但具体的例子，即关于最大后验估计的数字？那会很有帮助:) 谢谢！ 我最初在MSE上发布了此问题，但无法在此处得到答案： /math/449386/example-of-maximum-a-posteriori-estimation 我已按照交叉发布此处的指示进行操作： http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

11 bayesian  estimation  posterior 

我的实际问题在最后两段中，但是要激发他们： 如果我试图估计遵循具有已知方差的正态分布的随机变量的均值，则我已经读过，在均值上放置均等的先验会导致与似然函数成正比的后验分布。在这些情况下，贝叶斯可信区间与频密者置信区间完全重叠，并且贝叶斯最大值后验估计等于频密者最大似然估计。 在简单的线性回归设置中， Y=Xβ+ϵ,ϵ∼N(0,σ2)Y=Xβ+ϵ,ϵ∼N(0,σ2)Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2) 推杆上形成均匀的前和前上逆伽马σ 2与后部小的参数值结果β中号甲P，这将是非常相似的频率论β中号大号ë，而对于后验分布的可靠区间的β | X，它将与最大似然估计值周围的置信区间非常相似。他们不会完全一样，因为之前上σ 2ββ\betaσ2σ2\sigma^2β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE}β|Xβ|X\beta|Xσ2σ2\sigma^2施加的影响小的量，并且如果后估计经由MCMC仿真，将介绍差异的另一来源进行，但围绕贝叶斯置信区间β中号甲P和周围频率论置信区间β中号大号ë将彼此之间非常接近，当然，随着样本数量的增加，随着似然性的影响逐渐占主导，它们应该收敛。β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE} 但是我已经读到，在有些回归情况下，这些近等值不成立。例如，具有随机效应的层次回归或逻辑回归-在我所了解的情况下，没有“良好”的目标或参考先验条件。 所以我的一般问题是-假设我想推断P(β|X)P(β|X)P(\beta|X)并且我没有要合并的先前信息，为什么我不能在这些情况下进行频繁的最大似然估计，并将所得的系数估计和标准误解释为贝叶斯MAP估计和标准差，并隐式地对待这些由先验得出的“后验”估计必须是“无信息的”，而没有试图找到会导致这种后验的先验的明确表述？通常，在回归分析领域中，什么时候可以按照这些原则行事（将似然性当作后验对待），什么时候不行？对于不是基于似然性的频繁性方法（例如准似然方法）， 答案是否取决于我的推论目标是系数点估计，还是系数在特定范围内的概率，或预测分布的数量？

11 bayesian  maximum-likelihood  posterior  frequentist 

我很困惑，如何评价贝叶斯线性回归后的预测分布，过去的基本情况进行了说明这里第3页，以下复制。 p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y)p(y~∣y)=∫p(y~∣β,σ2)p(β,σ2∣y） p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y) 基本情况是此线性回归模型： ÿ= Xβ+ ϵ ，ÿ∼N(Xβ,σ2)y=Xβ+ϵ,y∼N(Xβ,σ2) y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2) 如果我们使用一个统一的现有上，带刻度-INV χ 2上之前σ 2，OR正常-逆伽马之前（见此处）的后验预测分布解析和是学生吨。 ββ\betaχ2χ2\chi^2σ2σ2\sigma^2 这个模型呢？ ÿ= Xβ+ ϵ ，ÿ〜ñ（Xβ，Σ ）ÿ=Xβ+ϵ，ÿ〜ñ（Xβ，Σ） y = X \beta + …

10 regression  bayesian  predictive-models  prediction  posterior 

stan（特别是rstan）是否具有内置的设施来生成可预测的后验分布？ 从固定拟合中生成分布并不难，但我宁愿不要重新发明轮子。

9 bayesian  posterior  stan