Questions tagged «conjugate-prior»

在LDA主题模型算法中，我看到了这个假设。但是我不知道为什么选择Dirichlet分布？我不知道我们是否可以对多项式使用均匀分布？

36 bayesian  dirichlet-distribution  conjugate-prior 

我知道beta分布与二项式共轭。但是beta的共轭先验是什么？谢谢。

34 beta-distribution  conjugate-prior 

我一直试图了解贝叶斯统计中的共轭先验的想法，但我只是不明白。谁能用最简单的术语来解释这个想法，也许以“高斯先验”为例？

23 bayesian  conditional-probability  conjugate-prior 

有些分布具有共轭先验，有些则没有。这种区别仅仅是偶然吗？就是说，您进行数学运算，它可以以一种方式或另一种方式进行计算，但是除了事实本身之外，它没有真正告诉您关于分布的任何重要信息吗？ 还是共轭先验的存在与否反映了分布的某些更深层次的性质？具有共轭先验的分布是否共享一些其他有趣的特性，或者其他分布所缺少的特性导致那些分布（而不是其他）具有共轭先验？

21 bayesian  mathematical-statistics  conjugate-prior 

在观察n个数据点后，如何计算具有先验N〜（a，b）的后验？我假设我们必须计算样本均值和数据点的方差，并进行某种组合后验和先验的计算，但是我不确定该组合公式是什么样子。

17 bayesian  normal-distribution  conjugate-prior 

拉普拉斯分布是否存在先验共轭？如果不是，是否存在一个已知的闭合形式表达式，该表达式近似于拉普拉斯分布的参数的后验？ 我在Google上搜索了很多都没有成功，所以我目前对上述问题的猜测是“否”。

13 bayesian  conjugate-prior  laplace-distribution 

除了可用性之外，使用共轭先验是否有任何认识论依据（数学，哲学，启发式等）？还是仅仅是因为它通常是一个足够好的近似值，并且使事情变得容易得多？

12 bayesian  conjugate-prior  philosophical 

当推断用于生成 D维向量的正态分布的精度矩阵时 我们通常将Wishart放在之前，因为Wishart分布是具有已知均值和未知方差的多元正态分布的命题： 其中是自由度和的ΛΛ\boldsymbol{\Lambda}NNNx1,..,xNx1,..,xN\mathbf{x_1},..,\mathbf{x_N} xi∼N(μ,Λ−1)xi∼N(μ,Λ−1)\begin{align} \mathbf{x_i} &\sim \mathcal{N}(\boldsymbol{\mu, \Lambda^{-1}}) \\ \end{align}ΛΛ\boldsymbol{\Lambda}Λ∼W(υ,Λ0)Λ∼W(υ,Λ0)\begin{align} \mathbf{\Lambda} &\sim \mathcal{W}(\upsilon, \boldsymbol{\Lambda_0}) \\ \end{align}υυ\upsilonΛ0Λ0\boldsymbol{\Lambda_0}比例矩阵。为了增加模型的鲁棒性和灵活性，我们对Wishart的参数设置了优先级。例如，Görür和Rasmussen建议： 其中是伽马分布。Λ01υ−D+1∼W(D,1DΛx)∼G(1,1D)Λ0∼W(D,1DΛx)1υ−D+1∼G(1,1D)\begin{align} \mathbf{\Lambda_0} &\sim \mathcal{W}(D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ \frac{1}{\upsilon-D + 1} &\sim \mathcal{G}(1, \frac{1}{D}) \\ \end{align}GG\mathcal{G} 题： 为了采样Λ0Λ0\boldsymbol{\Lambda_0} p(Λ0|X,Λ,υ,D,Λx)∝W(Λ|υ,Λ0)W(Λ0|D,1DΛx)p(Λ0|X,Λ,υ,D,Λx)∝W(Λ|υ,Λ0)W(Λ0|D,1DΛx)\begin{align} p(\boldsymbol{\Lambda_0 | X, \Lambda}, \upsilon, D, \boldsymbol{\Lambda_x}) \propto \mathcal{W}(\boldsymbol{\Lambda} | \upsilon, \boldsymbol{\Lambda_0}) \mathcal{W}(\boldsymbol{\Lambda_0} |D, \frac{1}{D}\boldsymbol{\Lambda_x}) \\ …

12 bayesian  posterior  hierarchical-bayesian  conjugate-prior  wishart 

贝叶斯估计量是否不受选择偏差的影响？ 大多数讨论高维估计的论文，例如整个基因组序列数据，通常会提出选择偏见的问题。选择偏差是由于以下事实而产生的：尽管我们有成千上万的潜在预测变量，但只有很少的预测变量会被选择，并且对所选的少数变量进行推断。因此，该过程分两个步骤进行：（1）选择预测变量的子集（2）对选择集进行推断，例如估计比值比。戴维德（Dawid）在其1994年的悖论论文中重点研究了无偏估计量和贝叶斯估计量。他将问题简化为选择最大的效果，这可能是治疗效果。 然后他说，无偏估计量受选择偏差的影响。他使用了这个例子：假设 然后每个Z iZi∼N(δi,1),i=1,…,NZi∼N(δi,1),i=1,…,N Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N ZiZiZ_i对于是无偏的。令 ，估计量 但是有偏见（肯定地）表示\ max \ {\ delta_1，\ delta_2，\ ldots，\ delta_N \}。用詹森的不等式可以很容易地证明这一说法。因此，如果我们知道i _ {\ max}，即最大\ delta_i的索引，我们将仅使用Z_ {i _ {\ max}}作为其估计量而无偏。但是因为我们不知道这一点，所以我们使用\ gamma_1（\ mathbf {Z}）来代替它（有偏）。ž = （Ž 1，Ž 2，... ，Ž Ñ ）Ť γ 1（ż）= 最大{ Ž 1，Ž 2，... ，ž Ñ } 最大值{ δ 1，δ 2，... …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

以下摘录自《博尔斯塔德的贝叶斯统计概论》。 对于所有在那里的专家来说，这可能是微不足道的，但是我不明白作者是如何得出结论的，我们不必进行任何积分就可以计算出某个值的后验概率。我理解第二个表达式，它是比例关系以及所有条件的来源（似然x Prior）。而且，我知道，我们不必担心分母，因为只有分子是直接成比例的。但是，继续讲第三个方程式，我们是否就忘记了贝叶斯规则的分母？去哪了？而且由Gamma函数计算的值不是常数吗？常数不会在贝叶斯定理中抵消吗？ππ\pi

11 distributions  bayesian  beta-distribution  conjugate-prior 

示例：我的职位描述中有一句话：“英国Java高级工程师”。 我想使用深度学习模型将其预测为2类：English 和IT jobs。如果我使用传统的分类模型，则只能预测softmax最后一层具有功能的标签。因此，我可以使用2个模型神经网络来预测两个类别的“是” /“否”，但是如果我们有更多类别，那就太贵了。那么，我们是否有任何深度学习或机器学习模型可以同时预测2个或更多类别？ “编辑”：使用传统方法使用3个标签，它将由[1,0,0]编码，但在我的情况下，它将由[1,1,0]或[1,1,1]编码 示例：如果我们有3个标签，并且所有这些标签都适合一个句子。因此，如果softmax函数的输出为[0.45，0.35，0.2]，我们应该将其分类为3个标签或2个标签，或者可以是一个？我们这样做的主要问题是：分类为1个，2个或3个标签的最佳阈值是多少？

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty