Questions tagged «dirichlet-distribution»

我开始与使用的涉猎glmnet与LASSO回归那里我感兴趣的结果是二分。我在下面创建了一个小的模拟数据框： age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

在LDA主题模型算法中，我看到了这个假设。但是我不知道为什么选择Dirichlet分布？我不知道我们是否可以对多项式使用均匀分布？

36 bayesian  dirichlet-distribution  conjugate-prior 

我对贝叶斯统计非常陌生，遇到了一种校正的相关度量SparCC，该度量在其算法的后端使用Dirichlet流程。我一直在尝试逐步了解算法，以真正理解正在发生的事情，但是我不确定alpha在Dirichlet分布中矢量参数的作用以及如何规范化alpha矢量参数？ 该实现Python使用的是NumPy：https : //docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html 文档说： alpha：数组分布的参数（k维为k维样本）。 我的问题： 如何将alphas影响分布?; 如何alphas被标准化？和 当alphas不是整数时会发生什么？ import numpy as np import pandas as pd import matplotlib.pyplot as plt # Reproducibility np.random.seed(0) # Integer values for alphas alphas = np.arange(10) # array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) # Dirichlet Distribution dd = np.random.dirichlet(alphas) …

26 distributions  bayesian  dirichlet-distribution 

比方说，我们有一个狄利克雷分布维向量参数→交通α = [ α 1，α 2，。。。，α ķ ]。如何从该分布中绘制样本（K维矢量）？我需要一个（可能）简单的解释。ķķKα⃗ = [ α1个，α2，。。。，αķ]α→=[α1个，α2，。。。，αķ]\vec\alpha = [\alpha_1, \alpha_2,...,\alpha_K]ķķK

25 sampling  dirichlet-distribution 

所以这个问题有点混乱，但是我将提供彩色图表来弥补这一点！首先是背景，然后是问题。 背景 假设您有维多项式分布，并且在类别上的Probailites相等。令是该分布的归一化计数（），即：nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, \ldots, \pi_n)ccc (c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c1,…,cn)∼Multinomial(1/n,…,1/n)πi=cin(c_1, \ldots, c_n) \sim \text{Multinomial}(1/n, \ldots, 1/n) \\ \pi_i = {c_i \over n} 现在上的分布已支持n -simplex，但具有离散步骤。例如，对于n = 3，此分布具有以下支持（红点）：ππ\pinnnn=3n=3n = 3 具有类似支持的另一个分布是维分布，即单位单纯形上的均匀分布。例如，这是一个3维 1，1，1）的随机抽奖：狄利克雷（1 ，... ，1 ）狄利克雷（1 ，1 ，1 ）nnnDirichlet(1,…,1)Dirichlet(1,…,1)\text{Dirichlet}(1, \ldots, 1)Dirichlet(1,1,1)Dirichlet(1,1,1)\text{Dirichlet}(1, 1, 1) 现在我有了一个想法，即分布中的分布可以被描述为来自离散化为的离散支持。我想到的离散化（似乎很好用）是将单纯形中的每个点取整并“舍入”到支持的最接近点。对于3维单纯形，您将获得以下分区，其中每个有色区域中的点应“舍入”到最接近的红点：ππ\piMultinomial(1/n,…,1/n)Multinomial(1/n,…,1/n)\text{Multinomial}(1/n, \ldots, 1/n)Dirichlet(1,…,1)Dirichlet(1,…,1)\text{Dirichlet}(1, \ldots, 1)ππ\piππ\pi 由于狄利克雷分布是均匀的，因此每个点的最终密度/概率与“四舍五入”到每个点的面积/体积成比例。对于二维和三维情况，这些概率为： （这些概率来自蒙特卡洛模拟） 这样看来，至少对于2维和3维，以这种特殊方式离散化所得到的概率分布与的概率分布相同。那就是分布的标准化结果。我也尝试过使用4维，并且似乎可以使用。Dirichlet(1,…,1)Dirichlet(1,…,1)\text{Dirichlet}(1, \ldots, 1)ππ\piMultinomial(1/n,…,1/n)Multinomial(1/n,…,1/n)\text{Multinomial}(1/n, \ldots, 1/n) …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

随机将长度为均匀地分成片段。最长片段的长度分布是什么？k+1k+1k+1 更正式地说，让为IID，让为关联的订单统计信息，即我们简单地订购以这样的方式来处理样本。令。(U1,…Uk)(U1,…Uk)(U_1, \ldots U_k)U(0,1)U(0,1)U(0,1)(U(1),…,U(k))(U(1),…,U(k))(U_{(1)}, \ldots, U_{(k)})U(1)≤U(2)≤,…,≤U(k)U(1)≤U(2)≤,…,≤U(k)U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}žķ= 最大（U（1 ），U（2 ）− U（1 ），… ，U(k)−U(k−1),1−U(k))Zk=max(U(1),U(2)−U(1),…,U(k)−U(k−1),1−U(k))Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right) 我对Z_k的分布感兴趣ZkZkZ_k。矩，渐近结果或k \ uparrow \ infty的近似值k↑∞k↑∞k \uparrow \infty也很有趣。

21 distributions  uniform  order-statistics  dirichlet-distribution  maximum 

令是相互独立的随机变量，每个变量的伽玛分布参数为表示，与X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1}αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,kDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) 的联合PDF。然后找到关节（y_1，\ dots，Y_ {k + 1}）的 pdf文件，我找不到jacobian即J（\ frac {x_1，\ dots，x_ {k + 1}} {y_1，\ dots，y_ {k + 1} }）（Ý1，...，ÿķ+1）Ĵ（X1，...，X ķ + 1(X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})}(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

18 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

使用主题建模（潜在Dirichlet分配）时，主题数是用户需要指定的输入参数。 在我看来，我们还应该提供Dirichlet流程必须作为样本的候选主题集的集合吗？我的理解正确吗？在实践中，如何设置这种候选主题集？

17 machine-learning  bayesian  clustering  text-mining  dirichlet-distribution 

因此，在（无监督的）文本建模中，潜在狄利克雷分配（LDA）是概率潜在语义分析（PLSA）的贝叶斯版本。本质上，LDA = PLSA + Dirichlet优先于其参数。我的理解是，LDA现在是参考算法，并以各种程序包实现，而PLSA不再使用。 但是在（监督）文本分类中，我们可以对多项式朴素贝叶斯分类器执行完全相同的操作，并将Dirichlet放在参数之前。但是我认为我从未见过有人这样做，并且多项朴素贝叶斯的“点估计”版本似乎是大多数软件包中实现的版本。有什么理由吗？

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

使用具有相同比例参数的Gamma变量很容易产生具有Dirichlet分布的随机变量。如果： Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) 然后： (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) 问题 如果比例参数不相等会怎样？ Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) 那么这个变量的分布是什么？ (X1∑jXj,…,Xn∑jXj)∼?(X1∑jXj,…,Xn∑jXj)∼? \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \; ? 对我来说，知道这种分布的期望值就足够了。 我需要一个可以由计算机非常快速地求值的近似封闭代数公式。 假设精度为0.01就足够了。 您可以假设： αi,βi∈Nαi,βi∈N \alpha_i, \beta_i \in \mathbb{N} 注意简而言之，任务是找到该积分的近似值： f(α⃗ ,β⃗ )=∫Rn+x1∑jxj⋅∏jβαjjΓ(αj)xαj−1je−βjxjdx1…dxnf(α→,β→)=∫R+nx1∑jxj⋅∏jβjαjΓ(αj)xjαj−1e−βjxjdx1…dxn f(\vec{\alpha}, \vec{\beta}) = …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

在拉普拉斯平滑（或加法平滑）的维基百科文章中，据说从贝叶斯角度来看， 这使用参数为先验的对称Dirichlet分布对应于后验分布的期望值。αα\alpha 我对这到底是怎么回事感到困惑。有人可以帮助我了解这两件事是如何等效的吗？ 谢谢！

11 bayesian  smoothing  dirichlet-distribution  laplace-smoothing 

我对Dirichlet后验分布有疑问。给定一个多项式似然函数，已知后验是，其中是我们见过观察的次数。Dir(αi+Ni)Dir(αi+Ni)Dir({\alpha_i + N_i})NiNiN_iithithi^{th} 如果我们开始减少给定的固定数据 s 会发生什么？从后部的形式看来，在某个点之后根本不会停止影响后部。但是，当我们使变得非常小时，质量移动到单纯形拐角和后验概率必须受到更大程度的影响，这不是正确的说法吗？哪种说法是正确的？αα\alphaDDDαα\alphaαα\alpha

11 dirichlet-distribution 

我将尝试尽可能概括地描述当前的问题。我正在将观察建模为具有参数概率向量theta 的分类分布。 然后，我假设参数向量theta遵循Dirichlet先验分布，参数为。α1个，α2，… ，αķα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k 那么是否可以对参数施加超先验分布呢？它必须是多元分布，例如分类分布和狄利克雷分布吗？在我看来，alpha总是为正，因此应优先使用gamma hyperprior。α1个，α2，… ，αķα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k 不知道是否有人尝试拟合这种（可能）过参数化的模型，但对我而言，认为阿尔法不应该是固定的而是来自伽马分布的，似乎是合理的。 请尝试为我提供一些参考，以及在实践中如何尝试这种方法的见解。

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

在DeepMind的AlphaGo Zero和AlphaZero论文中，他们描述了在蒙特卡洛树搜索中，将Dirichlet噪声添加到根节点（板状态）的先验概率上： 通过将Dirichlet噪声添加到根节点的先验概率来实现额外的探索，特别是，其中和\ varepsilon = 0.25 ; 这种噪音确保可以尝试所有动作，但是搜索可能仍会否决不良动作。 P （小号，一）= （1 - ε ）p 一个 + ε η 一个 η 〜风向（0.03 ）ε = 0.25s0s0s_0P(s,a)=(1−ε)pa+εηaP(s,a)=(1−ε)pa+εηaP(s, a) = (1−\varepsilon)p_a+ \varepsilon \eta_aη∼Dir(0.03)η∼Dir(0.03)\eta \sim \text{Dir}(0.03)ε=0.25ε=0.25\varepsilon = 0.25 （AlphaGo零） 和： Dirichlet噪声Dir(α)Dir(α)\text{Dir}(\alpha)已添加到根节点中的先验概率；这与典型位置中合法移动的近似数量成反比例，即α={0.3,0.15,0.03}α={0.3,0.15,0.03}\alpha = \{0.3, \; 0.15, \; 0.03\}用于国际象棋，将棋和围棋。 （零零） 我不明白的两件事： P(s, a)是维向量。是的简写与狄利克雷分布参数，每个的值是？风向（α ）ñ αnnnDir(α)Dir(α)\text{Dir}(\alpha)nnnαα\alpha 我只遇到Dirichlet作为多项式分布的共轭形式。为什么在这里挑选呢？ 就上下文而言，P(s, …

10 machine-learning  neural-networks  dirichlet-distribution 

目前，我在看Dirichlet过程随机效应模型的纸和型号规格如下： 其中α是比例参数和G ^0是基量度。稍后在纸，它表明，我们整合在基座度量函数G ^0如 ∫˚F（Ý Ĵ |θ，ψ Ĵ）ÿ一世ψ一世G= X一世β+ ψ一世+ ϵ一世〜g ^〜d P（α ，G0）yi=Xiβ+ψi+ϵiψi∼GG∼DP(α,G0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*}αα\alphaG0G0G_{0}G0G0G_{0}Dirichlet处理中的基本度量是cdf还是pdf？如果基本度量是高斯会怎样？∫F（yĴ| θ， ψĴ）dG0（ψĴ）。∫f(yj|θ,ψj)dG0(ψj). \int f\left(y_{j}|\theta, \psi_{j}\right)\, dG_{0}\left(\psi_{j}\right).

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory