是否有贝叶斯方法进行密度估算

我有兴趣估算连续随机变量的密度。我学到的一种方法是使用内核密度估计。$X$

但是现在，我对遵循以下思路的贝叶斯方法感兴趣。我最初认为服从分配。我采取的读数。有什么方法可以根据我的新读物来更新？$X$$F$$n$$X$$F$

我知道我听起来好像在自相矛盾：如果我只相信是我的先前发行记录，那么没有数据可以说服我。但是，假设是而我的数据点是。看到，我显然不能坚持以前的做法，但是应该如何更新呢？$F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

更新：根据评论中的建议，我开始研究Dirichlet过程。让我使用以下符号：

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

用这种语言构架了我原来的问题之后，我想我对以下内容感兴趣：。如何做到这一点？$\theta_{n+1} | x_1,...,x_n$

在这套笔记（第2页）中，作者举了的示例。（Polya方案）。我不确定这是否相关。$\theta_{n+1} | \theta_1,...,\theta_n$

更新2：我也想问（在看到注释之后）：人们如何选择DP的？似乎是一个随机选择。另外，人们如何为DP 选择先前的？我应该只使用先验作为先验吗？$\alpha$$H$$\theta$$H$

由于您需要贝叶斯方法，因此需要假设一些有关您要估计的事物的先验知识。这将采用发行形式。

现在，存在的问题是，这现在是分布上的分布。但是，如果您假设候选分布来自某个分布的参数化类，那么这没问题。

例如，如果您要假设数据是高斯分布的，均值未知，但方差已知，那么您所需要的只是先于均值。

可以通过假设所有给定未知参数的观测值/数据点在条件上独立来进行未知参数（称为）的MAP估计。然后，MAP估计为$\theta$

$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$，

哪里

$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$。

应当注意，存在先验概率和候选分布特定组合。即产生容易（封闭形式）更新，因为更多的数据点被接收。$\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

出于密度估算目的，您不需要

$\theta_{n+1}|x_{1},\ldots,x_{n}$。

在笔记式 reffers到Dirichlet过程的预测分布。$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

对于密度估计，您实际上必须从预测分布采样

可以使用条件方法或边际方法从上述分布中进行抽样。对于条件方法，请看Stephen Walker的论文[1]。对于边际方法，您应该查看Radford Neal论文[2]。

对于约束参数 Mike West [3]提出了一种在MCMC过程中进行推断的方法，其中包括的完整条件分布。如果您决定不更新MCMC程序中的浓度，则应记住，如果为它选择一个较大的值，则从Dirichlet过程中得出的不同值的数量将大于不同值的数量。当数字较小时。$\alpha$$\alpha$$\alpha$$\alpha$

[1] SG，沃克（2006）。用切片对Dirichlet混合物模型进行采样。地统计学通讯（模拟和计算）。

[2] RM，Neal（2000）的Dirichlet过程混合模型的马尔可夫链蒙特卡罗方法。计算和图形统计杂志。第9卷，第2期，第249-265页

[3] M.，West（1992）。Dirichlet过程混合模型中的超参数估计。技术报告

有什么方法可以根据我的新读物更新F吗？

正是出于这一点。这几乎是贝叶斯推理的主要思想。

$p(\theta | y) \propto p(y|\theta)p(\theta)$

在是你之前，你叫什么。在就是贝叶斯所说的“可能性”，这是给theta的一些价值观测数据的概率。您只需将它们相乘即可得到的“后”分布。这是您的“更新的F”。查看任何贝叶斯统计入门书籍的第1章。$p(\theta)$$F$$p(y|\theta)$$\theta$

您不必摆脱（先前），您只需要意识到，既然您已有数据可以对其进行优化，那就不再是最好的猜测了。$p(\theta)$