计量经济学:省略重要变量


1

我目前正在做一个项目来构建肉类和鱼类的需求函数。我的数据表明,水果和蔬菜价格具有统计学意义。然而,在省略了这个变量(以及其他3个无关紧要的变量)之后,F检验结果强调了拒绝Null的失败(这四个变量共同无关紧要)。

因此,我应该省略Fruit&Veg变量,尽管它具有独特的重要性,并且还具有直观的意义,可以包含在我的需求函数中。


我发现你的问题不清楚。您在哪种模型变体上进行了哪些测试?
Giskard

Answers:


2

重要的是要认识到从模型中删除不同变量存在路径依赖性。这是因为变量可以彼此高度相关(正面或负面),因此通过去除无关紧要的变量,其他变量可能变得具有统计显着性或无意义。

处理这个问题的方法有很多不同。正如之前的评论者所提到的,您可以使用某种模型选择程序来尝试和探索您所包含的变量的空间。有许多不同的方法可以做到这一点(AIC,BIC,SIC,Lasso,获取...),但最终对所选模型的解释假设您的原始模型包含真正的数据生成过程。如果不是这种情况,那么从原始模型中进行选择可能会给出不一致的参数估计值。

或者,您可以坚持使用纯粹的理论方法,并提前指定您认为重要变量的内容(即您认为DGP是什么),然后仅包括模型中的那些。这样您就不会添加或删除任何变量,只需根据您对真实模型的理论解释估计模型。解释还依赖于您提出的模型与基础DGP一致的假设。


2

你不应该做以上任何一件事。这是一个无效的决策过程。

在所有可能的世界中,创建一系列do循环并遍历所有可能的变量组合。计算AIC或BIC。如果您对这两者都一无所知,只需选择一个,因为它们通常会给出相同的结果。

具有最低AIC或BIC的模型是可能最接近真实模型的模型。具有统计学意义并不没有要紧的了。如果最佳模型也不重要,那么它并不重要。这可能仅仅意味着其他模型具有虚假意义。同样,如果在F检验下选择的模型是显着的,但是具有非重要变量,那么您无法更改它们。

如果您不知道如何编写do循环或for-next循环,那么找一个包含逐步回归的包。它不会涵盖所有模型,但它将覆盖许多模型。使用相同的标准AIC或BIC。

因为断言null为true,所以不能有多个null。如果您添加或减去变量,则没有任何意义,因为您每次都在更改null,而您无法执行此操作。AIC或BIC是估计真实模型的非常规方法,因此使用的解决方案绕过重要性问题直到选择模型之后。

编辑

我想我会提供一个编辑来涵盖评论中的陈述。

对于初学者,我同意这个评论。我认为我应该更好地理解上述声明背后的逻辑。

各种信息标准,AIC,BIC,DIC等,可以基于信息理论或贝叶斯理论。

从信息理论的角度来看,如果您有关于应该从理论或经验中包括或排除哪些模型的外部信息,那么需要将这些信息合并。由于没有直接的方法将它们合并在一起,因此您应该使用判断来查看哪些模型。

从贝叶斯的角度来看,各种信息标准是贝叶斯后验在某种限制性假设下的程式化点近似。在许多方面,它们不是良好的代理,因为后密度越小,它就越不可能成为真实,而在标准中则相反。最好将它们视为排名,并提供相同的排名顺序。

现在有两个贝叶斯问题。首先来自于你可以用Cox的公理来构造贝叶斯理论。考克斯的公理是围绕亚里士多德的逻辑建立的。您将使用贝叶斯方法来评估逻辑语句。如果某些陈述不需要评估或可以被逻辑排除,那么它们应该被排除在考虑之外。

第二个来自先前密度的性质。如果你事先知道某些情况不可能是真的,那么你应该给它们之前的重量为零。这将使他们完全不予考虑。

尽管如此,应该考虑组合方法,因为它映射到贝叶斯参数,而信息标准是非Frequentist结构,因此您不应该使用Frequentist标准来做出这种类型的决策。

y=β0+β1x1+β2x2+β3x3+ε
βi=0

因为贝叶斯方法缺乏零假设,这既是优势又是缺点,没有一个假设得到特殊处理或特殊权重,缺乏重要的外部信息。您可以测试每个可能模型的后验概率,作为过程的一部分。

现在,这就是合法异议确实存在的地方。信息标准是实际后验的风格化近似。在某些情况下,它们是完美的近似值,但在其他情况下它们可能是差的近似值。在完美的近似情况下,您应该使用适合您的问题的信息标准,而您的担心不是标准,而是数据的代表性。在差的近似情况下,如果实际计算了后验,则实际上可以逆转近似差异。随着您的组合倍增,单个成对错误发生的概率就越大。尽管如此,由于您没有进行模型平均,但模型选择它可能不是最高的两对。

使用像信息标准这样的工具确实突出了基于数据的测量中基于真正的基于零假设的方法的问题,这些组合显示了您可能拥有的独立数据的数量。如果你不是模型狩猎,而是测试一个真正的模型,那么你将失去一些自由度,除非你有共线性问题,那么如果你的样本大小合适就没问题了。在我上面的例子中,它非常像将样本除以8。它不是一个人们会看到自由度的减法过程,更像是一个分裂的过程。加上内部相关性,您的集合中的独立信息可能没有多少。

尽管如此,我觉得你并不觉得你有一个如何建立关系的心智模型,所以我仍然会推荐组合或逐步解决方案。


好的,所以也许我对旧的频率论者的方法进行过多的训练,但这对我来说有点过于数据驱动的方法。我很好地比较了一些模型,其中包含或排除变量的决定是基于理论和可能使用AIC(或BIC)的简约,但是通过所有可能的组合寻找最低的AIC似乎是一次钓鱼探险(见:stats.stackexchange.com/questions/78949 / ...)。以这种方式,可以包括你生日的任何事情
Maarten Punt

@MaartenPunt我同意你并提供了一个编辑。我是钓鱼探险的巨大反对者,但OP的问题在这种情况下并没有捕鱼的样子。相反,这是混乱。
戴夫·哈里斯
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.