人口的任何数量特性是“参数”吗?


13

我对术语统计和参数之间的区别比较熟悉。我认为统计量是通过将函数应用于样本数据而获得的值。但是,参数的大多数示例都与定义参数分布有关。一个常见的例子是均值和标准差,以参数化正态分布;系数和误差方差,以参数化线性回归。

但是,还有许多其他的人口分布值不是典型值(例如,最小回归,最大值,多元回归中的r平方,0.25分位数,中位数,系数非零的预测变量数量,偏度,数量大于0.3的相关性矩阵中的相关性等)。

因此,我的问题是:

  • 人口的任何数量特性是否应标记为“参数”?
  • 如果是,那为什么呢?
  • 如果否,哪些特征不应标记为参数?它们应贴上什么标签?又为什么呢?

阐述混乱

维基百科有关估算器的文章指出:

“估计器”或“点估计”是用于推断统计模型中未知参数值的统计信息(即数据的函数)。

但是我可以将未知值定义为.25分位数,并且可以为该未知数开发一个估算器。即,并非所有种群的定量特性都是以均值和sd为正态分布参数的相同方式作为参数,但是试图估算任何定量种群特性是合理的。

Answers:


15

这个问题涉及什么是统计数据以及如何进行良好的统计分析。它提出了许多问题,一些术语和理论上的其他问题。为了澄清它们,让我们从注意问题的隐含上下文开始,然后从那里开始定义关键术语“参数”,“属性”和“估计器”。问题的几个部分在讨论中都会得到解答。最后的结论部分总结了关键思想。

状态空间

一个常见的统计使用“分布”,如在“与PDF正态分布成正比 ”实际上是一(严重)滥用英语,因为显然这不是一个分布:它是由和符号参数化的整个分布族。一个标准的表示法是“状态空间”,一个集合μσΩΩexp(12(xμ)/σ)2)dxμσΩ的分布。(为了便于说明,我在这里进行了一些简化,并且将继续简化,同时保持尽可能严格。)它的作用是勾勒出统计程序的可能目标:当我们估算某物时,我们挑选一个(或更多)元素。Ω

有时状态空间被显式参数化,例如。在此描述中,上半平面中的元组与我们将用来对数据建模的分布集之间存在一一对应的关系。这种参数化的一个价值是,我们现在可以通过有序对实数来具体引用的分布。{ μ σ } ΩΩ={N(μ,σ2)|μR,σ>0}{(μ,σ)}Ω

在其他情况下,状态空间未明确参数化。一个例子是所有单峰连续分布的集合。下面,我们将解决在这种情况下是否可以找到足够的参数化的问题。

参数化

通常,参数化的是一个对应的(数学函数从的子集)(与有限)至。也就是说,它使用元组的有序集来标记分布。但这不只是任何对应关系:它必须“表现良好”。要理解这一点,请考虑其PDF具有有限期望的所有连续分布的集合。从任何“自然”尝试对此集合进行参数化的尝试将涉及可数的实数序列(使用任何正交基础进行扩展)的意义上来说,这将被广泛视为“非参数”。不过,因为该集合具有基数- [R d d Ω d 1 - [RΩRddΩd1是实数的基数,这些分布与之间必须存在一些一对一的对应关系。矛盾的是,这似乎使它成为具有单个实参的参数化状态空间!R

通过指出单个实数不能与分布具有“很好的”关系来解决这一悖论:当我们更改该数的值时,它对应的分布在某些情况下必须以根本方式改变。通过要求与它们的参数的接近值相对应的分布本身必须彼此“接近”,我们排除了这种“病理”参数化 讨论合适的“接近”定义会使我们走得太远,但是我希望这种描述足以证明参数本身不仅仅是命名一个特定的分布。

分布的性质

通过重复应用,我们习惯于将分布的“属性”视为一些经常在我们的工作中出现的可理解的数量,例如期望值,方差等。作为“财产” 的可能定义的问题在于它过于模糊且不够笼统。(这是数学在18世纪中叶的地方,“功能”被认为是应用于对象的有限过程。)相反,关于“财产”始终有效的唯一明智的定义是将属性视为是每个分配唯一分配的数字Ω Ω Ω 1 ΩΩ。这包括均值,方差,任何时刻,时刻的任何代数组合,任何分位数以及许多其他内容,甚至包括无法计算的内容。然而,它并没有包含的事情,就没有意义了一些元素。例如,如果由所有Student t分布组成,则均值不是的有效属性(因为没有均值)。这再次使我们印象深刻,我们的想法在多大程度上取决于真正组成。ΩΩΩt1Ω

属性并不总是参数

属性可能是一个复杂的函数,因此它不能用作参数。考虑“正态分布”的情况。我们可能想知道真实分布的均值在四舍五入为最接近的整数时是否为偶数。那是财产。但是它不会用作参数。

参数不一定是属性

当参数和分布一一对应时,显然,根据我们的定义,任何参数以及该参数的任何函数都是属性。但是,参数与分布之间不必一一对应:有时必须用两个或两个以上截然不同的参数值来描述一些分布。例如,球体上点的位置参数自然会使用经度和纬度。很好-除了在两个极点处,这两个极点对应于给定的纬度和任何有效的经度。该位置(球上的点)确实是一个属性,但其经度不一定是一个属性。尽管存在各种闪避(例如,仅将极点的经度声明为零),但此问题突出显示了属性(与分布唯一相关)和参数(这是标记方式)之间的重要概念差异分布,并且可能不是唯一的)。

统计程序

估计的目标称为估计。它仅仅是一个财产。统计人员不能随意选择估计值:这是她的客户所在的省份。当有人向您提供总体样本时,要求您估算总体的第99个百分位数时,您可能会因为提供均值估算器而被忽略了!作为统计学家,您的工作是确定一个良好的程序来估计您的估计值。(有时您的工作是说服您的客户他为自己的科学目标选择了错误的估计,但这是一个不同的问题...)

根据定义,过程是从数据中获取数字的一种方法。过程通常是作为要应用于数据的公式给出的,例如“将它们加起来并除以计数”。从字面上看,任何过程都可以说成是给定估计值的“估计器”。例如,我可以声明样本均值(应用于数据的公式)估计总体方差(假设我们的客户将可能的总体限制为仅包括那些实际存在方差的人群),则为总体属性。。Ω

估算器

估计量与估计量没有明显的联系。例如,您是否看到样本均值和总体方差之间有任何联系?我也没有。但是,尽管如此,样本均值实际上还是某些Ω(例如所有Poisson分布的集合)的总体方差的合理估计。这是理解估算器的一个关键:它们的质量取决于可能状态的集合。但这只是其中的一部分。Ω

称职的统计学家将想知道他们所推荐的程序实际执行得如何。让我们将过程称为“ ”,并将估计值设为。她不知道哪一种分配实际上是正确的分配,她将考虑每个O可能的分配。鉴于这样的,并给出任何可能的结果(即一组数据),她会比较(她有什么程序估计)至(该estimand的价值)。 她的委托人有责任告诉她这两个人有多近或多远。θ ˚F ∈ Ω ˚F 小号小号θ ˚F ˚F 小号θ ˚F ˚F Ωtθ FΩFst(s)θ(F)F (这通常通过“损失”函数完成。)然后,她可以考虑对与之间的距离的期望。这是她手术的风险。因为它取决于,所以风险是上定义的函数。t(s)θ(F)FΩ

(好的)统计学家建议根据比较风险的程序。例如,假设对于每个,过程的风险小于或等于的风险。这样就没有理由使用:它是“不允许的”。否则,它是“可接受的”。1FΩt1tt

(“贝叶斯”统计学家将始终通过对可能状态的“先前”分布(通常由客户提供)求平均值来比较风险。比较贝叶斯避开其他方式的风险。)

结论

我们不得不说,任何一项权利也就是接纳为是一个估计的。θ θ tθθ 我们必须,出于实用的目的(因为受理程序,可很难找到),弯曲这说任何具有可接受的小风险(进行比较时)实用程序中是一个估计 “可接受的”和“可行的”由客户确定,当然:“可接受的”是指其风险,而“可行的”则反映了实施该程序的成本(最终由他们支付)。θ θtθθ

简明定义的基础是刚刚讨论的所有想法:要理解它,我们必须牢记特定的(这是问题,过程或所研究人群的模型),确定的估计值(由客户提供),具体的损失函数(定量地将与估计值联系起来,也由客户给出),风险的概念(由统计学家计算),比较风险函数的一些程序(统计学家与客户协商后的责任) ,以及对实际上可以执行哪些程序的理解(“实用性”问题),即使在定义中未明确提及这些程序。ŤΩt


2
@尼克·考克斯(Nick Cox)在他的答复中提出了一些很好的观点(根据我的理解):“当我们知道任何模型和我们指定的任何损失函数将有些不准确或不足时,我们该怎么做?” 答案将使我们朝着不同的方向前进。我在这里只想说说我提出的框架(这是Tukey应对的经典框架),为我们思考如此广泛的数据分析问题提供了良好的基础。至少,它阐明了标准术语(例如“估计”)中的隐含假设。Ω
ub

11

与许多定义有关的问题一样,答案需要既要注意基本原理,又要注意术语在实践中的使用方式,即使是知情的人,也常常至少有些松散或不一致。重要的是,社区之间存在差异。

一个普遍的原理是,统计量是样本的属性,是一个已知的常数,参数是种群的相应属性,因此是一个未知的常数。单词“对应”在这里应理解为非常有弹性。顺便说一句,正是这种区别和这种术语都已经由RA Fisher引入了不到一个世纪的历史。

  1. 样本和总体设置并不能说明我们所有的问题。时间序列是一类主要的示例,其中的想法不是基本的生成过程,而类似的事情可以说是更深入,更笼统的想法。

  2. 有些菜单中的参数会发生变化。同样,时间序列分析提供了示例。

  3. 此处的要点是,实际上我们不会将总体或过程的所有属性都视为参数。如果某些过程采用正态分布模型,则最小值和最大值不是参数。(实际上,根据该模型,最小值和最大值无论如何都是任意大的负数和正数,但这并不会让我们担心。)

我要说的是,维基百科曾经在这里指明了正确的方向,如果我们说参数是我们要估计的东西,那么实践和原则都将受到尊重。

这也有助于解决其他引起困惑的问题。例如,如果我们计算出25%的均值,我们估计的是什么?合理的答案是总体的相应属性,实际上是通过估算方法定义的。一种术语是,无论估计量是多少,估计量都有一个估计量。从柏拉图式的“在那儿”属性的想法开始(说一种分布的模式),然后思考如何估计合理的值,然后想出分析数据的好方法并仔细考虑它们被认为是推论时所暗示的内容。

在应用数学或科学中,参数通常有两个方面。我们经常认为它是我们正在发现的真实事物,但是也确实是由我们的过程模型定义的事物,因此它在模型上下文之外没有任何意义。

两个截然不同的观点:

  1. 许多科学家以统计学家使用变量的方式使用“参数”一词。我既有科学家角色,也有统计学角色,这很不幸。变量和属性是更好的词。

  2. 在更广泛的英语用法中,参数被认为是指极限或界限,这很常见,这可能源于“参数”和“周长”之间的某些原始混淆。

关于估计观点的注释

经典的立场是,我们先确定一个参数,然后决定如何估计它,这仍然是多数实践,但是反转过程并不荒谬,并且可以对某些问题有所帮助。我称其为估计观点。在文献中至少已有50年了。Tukey(1962,p.60)敦促

“我们必须更加重视从估计器开始,发现什么是合理的估计,发现将估计器视为估计是合理的。”

Bickel和Lehmann(1975)在形式上非常详细和深入地阐述了类似的观点,而Mosteller和Tukey(1977,pp.32-34)在非正式上以相当清楚的方式阐述了这种观点。

还有一个基本版本。无论基础分布是否对称,使用(例如)样本中位数或几何均值来估计相应的总体参数都是有意义的,并且可以将相同的商誉扩展到(例如)样本整理的均值,这些均值被视为其总体对应物的估计量。

Bickel,PJ和EL Lehmann。1975年。非参数模型的描述性统计。二。位置统计年鉴 3:1045-1069。

Mosteller,F.和JW Tukey。1977年。数据分析和回归。 马萨诸塞州雷丁:Addison-Wesley。

Tukey,JW,1962 年。数据分析的未来数理统计年鉴 33:1-67。


这在很大程度上与标准统计文献相左,尤其是您对参数的定义。似乎混淆了寻找计算估计值的程序确定要估计的过程的过程后者-选择估计-是科学家或研究人员确定的问题。然后由统计学家选择前者以在所有可能的估计量程序中都具有期望的属性。还有技术问题;只需说参数比任意估计受更多限制就足够了。
ub

我将扩大答案以解决这个问题。
尼克·考克斯

1
我同意Tukey的观点,尽管您可能从我对此问题的回答中认为我是他所挑战的“僵化”统计学家之一。问题在于您已将他的报价单移出上下文。Tukey专门针对如何评估程序属性的问题“在通常情况下不依据程序进行假设的情况下”。这绝不会改变诸如参数,估计量和估计量之类的事物的定义。特别是,参数仍然不是 “无论我们在估计什么”。
ub

3
这里值得深思。快速答复:我的回答并不是要暗示我们在自由厅(Liberty Hall),那里发生了一切。在杜克的报价,我欢迎,作为我的观点的背景是,这是通常的习惯假设不成立,只要所有的模型是一个近似的数据不完全匹配。到目前为止,该条款强调了不同观点的价值。总的来说,我并不是试图也没有资格去产生更抽象和在数学上更精确的形式定义。
Nick Cox

6

我倾向于通过正态分布来类比地考虑参数: 要认识到此功能,最重要的是,尽管很丑陋,但我几乎知道大多数零件是什么。例如,我知道数字和是什么,是()和是什么();我知道对某物求平方或对某物取平方根的意思-我基本上都知道。而且,如果我想知道某个特定值处的函数的高度,
12π3.1415926Ë2.718281828XXμ

pdf=12πσ2e12(xiμ)2σ2
12π3.1415926e2.718281828Xxi,那么我显然也知道值。换句话说,一旦我知道上面的方程式是我需要使用的方程式,一旦知道了和的值μσ2,我就知道了一切。这些值是参数。具体来说,它们是控制分布行为的未知常数。因此,例如,如果我想知道对应于的值,则可以知道和之后确定该值(或有关该分布的任何其他信息)X25th%μσ2(但并非相反)。上面的等式对和赋予特权,而不会赋予其他任何值。 μσ2

同样,如果我使用的是OLS多元回归模型,则假定数据生成过程为: 然后,当我学(在实践中,估计的值,我知道一切有要知道。其他任何东西,例如的条件分布的(其中,我都可以根据对了解进行
β 0 β 1 β 2 σ 2 25 Ŷ X = X β 0 β 1 β 2 σ 2 β 0 β 1 β 2 σ 2

Y=β0+β1X1+β2X2+εwhere εN(0,σ2)
β0β1β2σ225th%YX=xiβ0,,和。上面的多元回归模型以不针对任何其他值的方式赋予,,和特权。 β1β2σ2β0β1β2σ2

(当然,所有这些都假设我的总体分布或数据生成过程模型是正确的。与往常一样,应该牢记“所有模型都是错误的,但有些模型是有用的” – George Box。)

为了更明确地回答您的问题,我会说:

  • 不,任何正确的旧定量分析都不应标记为“参数”。
  • 不适用
  • 应标记为“参数”的特性取决于型号规格。我没有其他定量特征的专用名称,但我认为可以将它们称为特性特征后果等。

谢谢。但是,您使用什么术语来描述所有可从参数模型导出但不在表示该模型的方便参数集中的总体值?或者,在某些情况下,您可能不了解人口模型并且没有特别在意,但对人口模型的特定非标准方面感兴趣。
Jeromy Anglim

我没有任何通常适用的特殊名称,但是有些特定值具有名称。例如,如果你真的不相信你的人口足够接近任何很好的研究分配,你可以尝试通过它的中位数,四分位数,铰链点等来描述它
呱-恢复莫妮卡

3
一个古老的计算机技巧暴露出一个关于参数的微妙问题:采用和的二进制(或十进制)表示并将它们(以四组为一组)交织成一个新的二进制(或十进制)数字。显然,这个过程是可逆的:你可以读断第一,第五,第九,...等的数字,等等。因此,“ [一旦]您了解的值,[您]就知道了所有要了解的内容。” 但是是不是一个有效参数,由于其标签可能分布的扭曲方式。σ θ β 0 θ θ θβ0,β1,β2,σθβ0θθθ
ub

3

这个问题已经得到了很好的答案,我只是认为我总结了一个有趣的参考资料,提供了对估计量的相当严格的讨论。

估算器上的虚拟实验室页面 定义

  • 一个统计量为“结果变量的可观测的功能”。
  • “从技术上讲,参数 是X分布的函数”θ

分布函数的概念是一个非常笼统的想法。因此,以上提供的每个示例都可以看作是某个分布的函数。

  • 每个分位数,包括最小,中位数,第25个分位数,最大值都可以是分布的函数。
  • 偏度是分布的函数。如果该人口分布是正态的,则它们将为零,但这不会停止这些值的计算。
  • 计算大于一定值的相关数是协方差矩阵的函数,而协方差矩阵又是多元分布的函数。
  • R平方是分布的函数。

1
我提供更为详尽的答案的原因之一是,对“参数”的定义不够好。有关一个反例,请参阅我对@gung的回答的评论。直观地讲,一组参数化分布形成了一个有限维的带边界拓扑流形。参数必须是在歧管上定义的连续函数。这不仅仅是一个技术要求,因为它与估计的采样分布有关。
ub
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.