推断与估计?


30

机器学习的背景下,“推理”和“估计”之间有什么区别?

作为一个新手,我觉得我们可以推断随机变量并估计模型参数。我的理解正确吗?

如果没有,确切的区别是什么,我应该何时使用?

另外,“ learn”的同义词是什么?


在Quora上找到了这个答案,不确定其正确性。
Sibbs赌博

4
机器学习只是自动统计(在我看来),因此我不确定统计中的定义是否会更普遍
shadowtalker 2015年

5
规范统计文献在推定的基础模型(在决策理论框架内)的推断属性与预测随机变量的值之间做出了清晰一致的区分。估计是一种特殊的推断。这些可以与探索和假设检验相对照。作为过渡动词的“学习”没有标准的统计意义。
whuber

@whuber,一个愚蠢的想法-让一个答案..?
StasK

2
@StasK它将是-除非它没有解决问题,该问题询问的是机器学习而不是统计信息。我提供该评论的目的是为了提供一些了解和评估ML答案的背景,尤其是因为其中一些答案似乎在推断,估计和预测之间做出了非标准的区分。
whuber

Answers:


30

对推断的整个集合进行统计推断,可以从给定的数据集和相关的假设模型中得出结论,包括所述模型的拟合度。要引用维基百科

推论是从已知或假定为真实的前提中得出逻辑结论的行为或过程。

和,

在存在不确定性的情况下,统计推论使用数学得出结论。

估计只是推论的一个方面,其中一个推论是根据数据(以及关于这些参数的先验信息)用最优解替换未知参数(与生成数据的假设模型相关)。它应始终与对所报告估计的不确定性进行评估相关联,评估是推断的组成部分。

最大似然是估计的一种情况,但它并不涵盖整个推断。相反,贝叶斯分析提供了完整的推理机。


4
尤其是+1,特别是因为“它应该始终与报告的估计值的不确定性评估相关联”,这在机器学习和“数据科学”中是不可能做到的。仅仅根据已知数据集进行基准测试并非如此。
Momo 2015年

4

虽然估计本身旨在得出未知参数的值(例如,逻辑回归中的系数,或支持向量机中分离的超平面中的系数),但统计推断尝试将不确定性和/或概率陈述的度量附加到参数值(标准误差和置信区间)。如果统计学家假设的模型大致正确,那么只要新的传入数据继续符合该模型,则不确定性陈述中可能包含一些真实性,并提供衡量使用错误概率的频率。做出决策的模型。

μσ2μσ2/ñ

当样本被分为训练部分和验证部分时,机器学习最接近的是交叉验证,后者有效地表示:“如果新数据看起来像旧数据,但是与新数据完全不相关,是用来建立我的模型的,那么对错误率的现实衡量就是如此。” 它是通过对数据运行相同的模型完全凭经验得出的,而不是通过做出统计假设并涉及任何数学结果(如上述CLT)来推断模型的属性。可以说,这是更诚实的说法,但是由于它使用的信息较少,因此需要更大的样本量。而且,它隐式地假设过程没有改变,

尽管“推断后验”一词可能是有道理的(我不是贝叶斯人,但我无法真正说出公认的术语是什么),但我认为在推断步骤中进行任何假设都不会涉及太多。所有贝叶斯假设都是(1)在先验模型中(2)在假设模型中,一旦建立,后验将自动跟随(至少在理论上是通过贝叶斯定理;实际步骤可能非常复杂,并且Sipps赌博...对不起,Gibbs采样可能是到达那个后验的相对容易的组成部分。如果“推断后验”是指(1)+(2),那么这对我来说是一种统计推断。如果(1)和(2)分别陈述,然后“推断后验”是另一回事,那么我不会


2

假设您有一个总体样本。

推断是指您使用该样本估算模型并声明结果可以一定精度扩展到整个总体。进行推断是仅使用代表性样本对总体进行假设。

估计是当您选择一个模型以适合您的数据样本并以一定精度计算该模型的参数时。之所以称其为“估计”,是因为您将仅拥有数据样本,而不拥有整个样本,因此将永远无法计算出参数的真实值。


“推论是使用样本估计模型的时间”(从而估计模型的参数)。“估计是在计算...模型参数时”。你有什么区别吗?
nbro

2

这是试图为没有统计学背景的任何人提供答案。对于那些对更多细节感兴趣的人,有很多关于该主题的有用的参考文献(例如该参考文献)。

简短答案:

->

->

长答案:

术语“估计”通常用于描述查找未知值的估计的过程,而“推论”通常是指统计推论,发现随机变量的分布(或特征)并使用它们得出结论的过程。

考虑回答以下问题:我国的普通人有多高?

如果您决定查找估算值,则可以走几天,测量一下在街上遇到的陌生人(创建样本),然后计算估算值,例如作为样本平均值。您刚刚做了一些估算!

另一方面,您可能想找到更多估计值,您知道这是一个数字,注定是错误的。您可能希望以一定的信心回答这个问题,例如:我99%可以肯定,我国一个人的平均身高在1.60m至1.90m之间。

为了提出这样的主张,您需要估计正在遇见的人的身高分布,并根据此知识(即统计推断的基础)得出结论。

需要牢记的关键一点(正如西安的答案所指出的)是,找到一个估计量是统计推断的一部分。


1
“下一个随机人有多高”是统计预测而不是估计的问题。“中间95%的人群的范围是多少”是一个(区间)估计。尽管这两个问题(以及解决方法)密切相关且听起来相似,但它们在某些重要方面有所不同,并且答案也不同。差异来自第一个问题中下一个人的随机性第二个问题中不存在该随机性。
whuber

我同意这些例子并不理想。考虑到问题的性质,我试图举一个非统计学家会非常熟悉的例子。我对“估计”的最直接的回答是,它涉及拟合统计模型的参数,但是随后我将引入术语“拟合”和“统计模型”,这两个术语都需要进行解释。最终,尽管示例中描述的预测是前瞻性的,但我仍将其视为(点)估计。
意思为意思的方式

将示例更改为不包含预测。
意思为意思的方式

1

嗯,今天有来自不同学科的人们在ML领域从事职业,他们说的方言可能略有不同。

但是,无论他们使用什么术语,其背后的概念都是截然不同的。因此,重要的是要弄清楚这些概念,然后以您喜欢的方式翻译这些方言。

例如。

在Bishop的PRML中,

pCķ|X

所以看来这里Inference= Learning=Estimation

但在其它材料,推理可以从估计,不同处,inference装置predictionestimation装置的参数的学习过程。


0

在机器学习的上下文中,推断是指根据您的观察发现潜在(隐藏)变量的设置的行为。这还包括确定潜在变量的后验分布。估计似乎与“点估计”相关,该点确定您的模型参数。示例包括最大似然估计。在期望最大化(EM)中,在E步中进行推断。在M步骤中,进行参数估计。

我想我听到人们说“推断后验分布”比“估计后验分布”更多。在通常的精确推论中不使用后一种。例如,将其用于期望传播或变分贝叶斯算法中,其中难以推断出确切的后验,并且必须对后验进行其他假设。在这种情况下,推断的后验是近似的。人们可能会说“接近后验”或“估计后验”。

所有这些只是我的意见。这不是规则。


0

我想通过扩展“推断”部分来增加其他人的答案。在机器学习的背景下,推理的一个有趣方面是估计不确定性。ML算法通常很棘手:如何在神经网络或决策树吐出的分类标签上放置标准差?在传统统计中,分布假设使我们能够进行数学运算并弄清楚如何评估参数的不确定性。在ML中,可能没有参数,没有分布假设或两者都不存在。

在这些方面已经取得了一些进展,其中一些是最近的(比当前的答案要新)。正如其他人提到的那样,一种选择是贝叶斯分析,您的后验可为您提供不确定性估计。Bootstrap类型的方法很好。斯坦福大学的Stefan Wager和Susan Athey在过去的几年中开展了一些工作,以推断随机森林。类似地,BART是一种贝叶斯树集成方法,该方法产生后验,可以从中得出推断。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.