Questions tagged «nonparametric-bayes»

我开始与使用的涉猎glmnet与LASSO回归那里我感兴趣的结果是二分。我在下面创建了一个小的模拟数据框： age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

我有兴趣估算连续随机变量的密度。我学到的一种方法是使用内核密度估计。XXX 但是现在，我对遵循以下思路的贝叶斯方法感兴趣。我最初认为服从分配。我采取的读数。有什么方法可以根据我的新读物来更新？XXXFFFnnnXXXFFF 我知道我听起来好像在自相矛盾：如果我只相信是我的先前发行记录，那么没有数据可以说服我。但是，假设是而我的数据点是。看到，我显然不能坚持以前的做法，但是应该如何更新呢？FFFFFFUnif[0,1]Unif[0,1]Unif[0,1](0.3,0.5,0.9,1.7)(0.3,0.5,0.9,1.7)(0.3, 0.5, 0.9, 1.7)1.71.71.7 更新：根据评论中的建议，我开始研究Dirichlet过程。让我使用以下符号： G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2)G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2) G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2) 用这种语言构架了我原来的问题之后，我想我对以下内容感兴趣：。如何做到这一点？θn+1|x1,...,xnθn+1|x1,...,xn\theta_{n+1} | x_1,...,x_n 在这套笔记（第2页）中，作者举了的示例。（Polya方案）。我不确定这是否相关。θn+1|θ1,...,θnθn+1|θ1,...,θn\theta_{n+1} | \theta_1,...,\theta_n 更新2：我也想问（在看到注释之后）：人们如何选择DP的？似乎是一个随机选择。另外，人们如何为DP 选择先前的？我应该只使用先验作为先验吗？αα\alphaHHHθθ\thetaHHH

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

有没有一种方法可以使用GPML对多维输出（可能是相关的）执行高斯过程回归？ 在演示脚本中， 我只能找到一维示例。 关于CV 的类似问题，涉及多维输入的情况。 我浏览了他们的书，看看是否能找到任何东西。在本书的第9章（第9.1节）中，他们提到了这种多输出的情况。他们提到了几种解决方法，一种是使用相关的噪声处理，另一种是使用Cokriging（相关的先验）。 我还是不知道如何将所有这些想法整合到GPML框架中。 另外，还有其他支持多维输出的GP库/框架吗？

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

我正在阅读有关广义Wishart流程（GWP）的本文。本文使用平方指数协方差函数计算不同随机变量之间的协方差（遵循高斯过程），即。然后说该协方差矩阵遵循GWP。K(x,x′)=exp(−|(x−x′)|22l2)K(x,x′)=exp⁡(−|(x−x′)|22l2)K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right) 我曾经认为从线性协方差函数（）K(x,x′)=xTx′K(x,x′)=xTx′K(x,x') = x^Tx'计算出的协方差矩阵遵循具有适当参数的Wishart分布。 我的问题是，我们如何仍可以假设协方差服从具有平方指数协方差函数的Wishart分布？另外，一般来说，协方差函数产生Wishart分布协方差矩阵的必要条件是什么？

11 machine-learning  normal-distribution  covariance  wishart  nonparametric-bayes 

问题设定 我想将PyMC应用到的第一个玩具问题之一是非参数聚类：给定一些数据，将其建模为高斯混合，并学习聚类的数目以及每个聚类的均值和协方差。我对这种方法的大部分了解来自迈克尔·乔丹（Michael Jordan）和Yee Whye Teh（大约在2007年之前）的视频讲座（在稀疏成为流行之前），以及最近两天阅读Fonnesbeck博士和E. Chen的教程[fn1]，[ fn2]。但是问题已得到充分研究，并且具有一些可靠的实现方式[fn3]。 在这个玩具问题中，我从一维高斯生成十次抽奖，并从。正如您在下面看到的那样，我没有对抽奖进行混洗，以便于分辨哪个样品来自哪个混合成分。N（μ = 4 ，σ = 2 ）N(μ=0,σ=1)N(μ=0,σ=1)\mathcal{N}(\mu=0, \sigma=1)N(μ=4,σ=2)N(μ=4,σ=2)\mathcal{N}(\mu=4, \sigma=2) 我对每个数据样本进行，，其中表示该第个数据点的聚类：。是使用的截短Dirichlet进程的长度：对我来说，。我= 1 ，。。。，50 ž 我我ž 我 ∈ [ 1 ，。。。，N D P ] N D P N D P = 50yi∼N(μzi,σzi)yi∼N(μzi,σzi)y_i \sim \mathcal{N}(\mu_{z_i}, \sigma_{z_i})i=1,...,50i=1,...,50i=1,...,50ziziz_iiiizi∈[1,...,NDP]zi∈[1,...,NDP]z_i \in [1,...,N_{DP}]NDPNDPN_{DP}NDP=50NDP=50N_{DP}=50 扩展Dirichlet流程基础结构，每个集群ID都是来自分类随机变量的图形，其随机变量的质量函数由结构给出：带有的a浓度参数。折断构造通过首先获得依赖于 Beta分布的 iid Beta分布绘制，构造必须为1 的长向量，请参见[fn1]。并且由于我想通过数据告知我对了解，因此我遵循[fn1]并假定 0.3，100。ž 我〜Ç 一吨ë …

10 bayesian  clustering  python  pymc  nonparametric-bayes 

Dirichlet Pocess和高斯过程通常被称为“函数分布”或“分布分布”。在那种情况下，我可以有意义地谈谈GP下函数的密度吗？也就是说，高斯过程或Dirichlet过程是否具有概率密度的概念？ 如果不是，那么，如果对函数的先验概率的概念没有很好地定义，我们如何使用贝叶斯定律从后验先到？贝叶斯非参数世界中是否存在诸如MAP或EAP估计之类的东西？非常感谢。

10 machine-learning  probability  bayesian  nonparametric  nonparametric-bayes 

目前，我在看Dirichlet过程随机效应模型的纸和型号规格如下： 其中α是比例参数和G ^0是基量度。稍后在纸，它表明，我们整合在基座度量函数G ^0如 ∫˚F（Ý Ĵ |θ，ψ Ĵ）ÿ一世ψ一世G= X一世β+ ψ一世+ ϵ一世〜g ^〜d P（α ，G0）yi=Xiβ+ψi+ϵiψi∼GG∼DP(α,G0) \begin{align*}y_{i} &= X_{i}\beta + \psi_{i} + \epsilon_{i}\\ \psi_{i} &\sim G \\ G &\sim \mathcal{DP}\left(\alpha, G_{0}\right) \end{align*}αα\alphaG0G0G_{0}G0G0G_{0}Dirichlet处理中的基本度量是cdf还是pdf？如果基本度量是高斯会怎样？∫F（yĴ| θ， ψĴ）dG0（ψĴ）。∫f(yj|θ,ψj)dG0(ψj). \int f\left(y_{j}|\theta, \psi_{j}\right)\, dG_{0}\left(\psi_{j}\right).

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

其中大部分是背景知识，如果您已经对Dirichlet过程混合物有足够的了解，请跳到最后。假设我正在建模来自Dirichlet进程混合的某些数据，即让并以条件假定F∼D(αH)F∼D(αH)F \sim \mathcal D(\alpha H)FFFYi∼iid∫f(y|θ)F(dθ).Yi∼iid∫f(y|θ)F(dθ).Y_i \stackrel {iid}{\sim} \int f(y | \theta) F(d\theta). 这里和是现有基础量度。事实证明，如果对于每个观测，如果我知道相关的潜伏，则此模型中的可能性为，其中是的不同值的数量（随机度量几乎肯定是离散的）。Escobar和West开发了以下使用Gamma优先级对进行采样的方案；首先，他们写α>0α>0\alpha > 0αHαH\alpha HYiYiY_iθiθi\theta_iαα\alphaL(α|t)∝αtΓ(α)Γ(α+n)L(α|t)∝αtΓ(α)Γ(α+n)L(\alpha | t) \propto \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)}tttθiθi\theta_iFFFαα\alphaπ(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫10xα(1−x)n−1 dx,π(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫01xα(1−x)n−1 dx, \pi(\alpha | t) \propto \pi(\alpha) \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)} \propto \pi(\alpha)\alpha^{t - 1}(\alpha + n){B(\alpha + 1, n)} \\= \pi(\alpha)\alpha^{t - 1} (\alpha + n) \int_0^1 x^\alpha(1 …

9 bayesian  nonparametric-bayes 

我想围绕这个话题进行探讨，但是很难从白皮书和教程中学习，因为教科书通常会填补许多空白。 如果重要的话，我会像攻读博士学位一样具有相对较强的数学背景。应用数学（更精确地讲，CFD）。

9 bayesian  nonparametric  references  nonparametric-bayes