贝叶斯模型到底是什么？

34

我可以将使用贝叶斯定理的模型称为“贝叶斯模型”吗？恐怕这样的定义可能太宽泛了。

那么贝叶斯模型到底是什么呢？

machine-learning bayesian

— 西布斯赌博
source

9

贝叶斯模型是由先验x可能性=后验x边际对组成的统计模型。贝叶斯定理在某种程度上是先验概念的次要条件。

— 西安

18

本质上，一种推论是基于贝叶斯定理，根据相关未知参数的先验分布以及该模型的似然性，从某个模型（例如参数值）获得某个模型感兴趣的数量的后验分布。

即从某种形式的分布模型和先验，有人可能会寻求获得后验。 $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

贝叶斯模型的一个简单的例子中讨论了这个问题，并且在所述评论这一个 -贝叶斯线性回归，Wikipedia中更详细地讨论在这里。通过搜索可以找到许多贝叶斯模型的讨论。

但是，除了仅拟合模型外，还可以尝试使用贝叶斯分析进行其他操作-例如，参见贝叶斯决策理论。

— Glen_b-恢复莫妮卡
source

线性回归，是

这里等于向量

？如果没有，那是什么？

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

— BCLC 2015年

1

@BCLC通常也包括

。

σ

$\sigma$

— Glen_b-恢复莫妮卡

1

@BCLC您似乎正在混淆常客和贝叶斯推论。贝叶斯推理着重于您感兴趣的任何数量。如果您对参数感兴趣（例如，对特定系数的推理），则其想法是寻找后验分布[parameters | data]。如果你有兴趣的平均函数（

），那么你会寻求一个后验分布（这当然是一个的（多元）分布函数的

）。你可以在你的估计使用OLS，但后的参数会被事先被转移...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

— Glen_b -Reinstate莫妮卡

1

...请参阅有关贝叶斯回归的Wikipedia页面，以及有关简历的一些讨论

— Glen_b -Reinstate Monica 2015年

1

这有时计算来了（不管你叫它

或

），由于各种原因。我之前的评论与该计算没有任何冲突。

（或等价

或

）是一个参数，你必须与其他参数一起对付它。但是，虽然很少知道

；例如，如果您要进行Gibbs采样，则条件将是相关的。如果你只是想推论

，你会集成

（或

等），从出

而不是

条件

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$ 。

— Glen_b-恢复莫妮卡2015年

11

贝叶斯模型只是从后验分布中得出其推论的模型，即利用与贝叶斯定理相关的先验分布和似然性。

— Sycorax说恢复莫妮卡
source

7

我可以将使用贝叶斯定理的模型称为“贝叶斯模型”吗？

没有

恐怕这样的定义可能太宽泛了。

你是对的。贝叶斯定理是边际事件概率与条件概率之间的正当关系。无论您对概率的解释如何，它都会成立。

那么贝叶斯模型到底是什么呢？

如果您在说明或解释中的任何地方都使用先验和后验概念，那么您很可能会使用贝叶斯模型，但这不是绝对的规则，因为这些概念也在非贝叶斯方法中使用。

从广义上讲，您必须遵循贝叶斯对概率的解释作为主观信念。贝叶斯的这个小定理被某些人扩展和延伸到整个世界观，甚至可以说是哲学。如果您属于这个阵营，那么您就是贝叶斯人。贝叶斯不知道这会发生在他的定理中。我想他会很害怕。

— 阿克萨卡尔族
source

4

这似乎是介绍第一行提出的重点的第一个答案：仅使用贝叶斯定理并不能构成贝叶斯模型。我想鼓励您进一步思考。您似乎退缩了说“使用先验和后验概念”构成贝叶斯模型的地方。这不等于再次应用贝叶斯定理吗？如果不是，您能否解释这段话中“概念”的含义？毕竟，经典（非贝叶斯）统计使用先验和后验来证明许多程序的可采性。

— ub

@whuber，它更像是一条简单的经验法则。每当我在论文中看到“先前”时，从贝叶斯的角度来看，它最终都是或声称是。我会澄清我的观点。

— Aksakal 2014年

5

可以将统计模型视为描述某些数据如何产生的过程/故事。贝叶斯模型是一种统计模型，您可以使用概率来表示模型中的所有不确定性，既包括有关输出的不确定性，也包括有关模型的输入（即参数）的不确定性。整个先验/后验/贝叶斯定理都在此之上，但是在我看来，对所有事物都使用概率才使它成为贝叶斯定理（实际上，更好的词可能就是概率模型）。

这意味着通过修改其他统计模型以在各处使用概率，可以将大多数其他统计模型“纳入”贝叶斯模型。对于依赖最大似然的模型尤其如此，因为最大似然模型拟合是贝叶斯模型拟合的严格子集。

— 拉斯穆斯·巴斯
source

MLE的使用是在贝叶斯模型之外开发的，因此您不清楚它是“贝叶斯模型拟合的严格子集”是什么意思。

— Aksakal 2014年

从贝叶斯角度来看，假设先验先验，拟合模型并使用最可能的参数配置作为点估计，则将获得MLE。这是否是贝叶斯“统计哲学”的特例，我留待其他人讨论，但这肯定是贝叶斯模型拟合的特例。

— RasmusBååth2014年

该语句的问题在于，它给人的印象是，您需要订阅某种贝叶斯思维才能使用MLE。

— Aksakal 2014年

1

我不确定你是什么意思。在IMO中，使用贝叶斯统计信息时，您不需要订阅贝叶斯思维，而使用线性代数时，您不需要订阅矩阵思维；使用正态分布时，您不需要订阅高斯思维。我也并不是说MLE 有被解释为贝叶斯模型拟合的一个子集（即使它属于很自然的我）。

— RasmusBååth2014年

3

您的问题更多是在语义方面：何时可以将模型称为“贝叶斯”？

从这篇出色的论文得出结论：

费恩伯格，东南（2006）。贝叶斯推理何时成为“贝叶斯”？贝叶斯分析，1（1）：1-40。

有2个答案：

如果您的模型使用贝叶斯规则（即“算法”），则它是第一个贝叶斯模型。
更广泛地讲，如果您从系统的生成模型中推断（隐藏）原因，那么您就是贝叶斯（即“功能”）。

出乎意料的是，整个领域使用的“贝叶斯模型”术语仅在60年代左右就安定下来。仅通过查看机器学习的历史就可以了解很多事情！

— 梅杜兹
source

您似乎只提到“两个答案”之一。也许写一些关于两者？

— 蒂姆

感谢您的来信，我编辑了答案，将句子的两部分分开。

— meduz