线性回归中的线性假设仅仅是的定义吗？

我正在修改线性回归。

格林的教科书指出：

现在，在线性回归模型上当然会有其他假设，例如。该假设与线性假设（实际上定义为）相结合，将结构置于模型上。 $E(\epsilon|X)=0$ $\epsilon$

但是，线性假设本身不会在我们的模型中添加任何结构，因为可以是完全任意的。对于任何变量，无论两者之间的关系如何，我们都可以定义一个使得线性假设成立。因此，线性“假设”的确可以称为一个定义的，而不是一个假设。 $\epsilon$ $X, y$ $\epsilon$ $\epsilon$

因此我想知道：

格林草率吗？他实际上应该写出：吗？这是一个“线性假设”，实际上将结构放在模型上。 $E(y|X)=X\beta$
还是我必须接受线性假设不将结构放在模型上而是仅定义一个，而其他假设将使用定义将结构放在模型上吗？ $\epsilon$ $\epsilon$

编辑：由于其他假设似乎有些混乱，因此让我在此处添加全套假设：

这摘自Greene，《计量经济学分析》，第7版。p。16。

— 用户名
source

这些是感知性观察（+1）。公平地说，尽管如此，我相信大多数（如果不是全部）作者都在这样一个框架中工作，在该框架中，诸如之类的加性误差的含义就包含了其分布以为中心的假设。

ϵ

$\epsilon$

0

$0$

— ub

@whuber，我添加了整套假设。看A3。A3明确指出它以0为中心，这意味着Greene在A1中不假定它，这使我不得不质疑A1除了定义之外是否还具有逻辑上的内容。

ϵ

$\epsilon$

— user56834 '18

一系列假设的预期含义是它们共同存在，而不是单独存在。这不会表现出任何“草率”。

— ub

@AdamO，“正确”一词对我似乎没有确切的含义。我正在尝试更准确地理解这一点。在我看来，所有这一切的最精确的表述是将假设1称为“定义”，然后一切都变得有意义。或我实际上错过了一些东西，这就是为什么我问这个问题。不幸的是，到目前为止，我还没有看到这个问题的直接答案

ϵ

$\epsilon$

— user56834'1

@ Programmer2134您会得到不精确的答案，因为您是在问一个不精确的问题。正如您所说的，它不会“将结构放入模型”。如果使用了错误的均值模型（），则响应的特征为。残差作为偏差和误差之和。

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

— AdamO '18年

Answers:

格林草率吗？他实际上应该写出：吗？这是一个“线性假设”，实际上将结构放在模型上。 $E(y|X)=X\beta$

从某种意义上说，是和否。一方面，是的，鉴于当前的现代因果关系研究，他是草率的，但就像大多数计量经济学教科书一样，从某种意义上说，它们并没有清楚地区分因果关系量和观测量，从而导致类似此问题的常见混淆。但是，另一方面，不，这个假设并不松散，因为它确实不同于简单假设。 $E(y|X)=X\beta$

这里问题的关键是条件期望之间的差异，以及结构性的（因果）方程，以及其结构（因果）期望值 $E(y|X)$ $y$ $E[Y|do(X)]$ 。Greene中的线性假设是结构假设。让我们看一个简单的例子。假设结构方程为：

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

现在让。然后我们将有： $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

其中。而且，我们可以写，我们将得到。这表明我们可以有一个 正确指定的线性条件期望，根据定义它将具有正交干扰，而结构方程将是非线性的。 $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

还是我必须接受线性假设不将结构放在模型上而是仅定义一个，而其他假设将使用定义将结构放在模型上吗？ $\epsilon$ $\epsilon$

线性假设确实定义了，即的定义，其中代表与我们实验中的期望值的偏差设置（请参见Pearl部分5.4）。其他假设都用于识别结构参数（例如的外生性假设使您可以使用条件期望来识别结构期望）或用于推导估算器的统计属性 $\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ $E[Y|do(X)]$ $E[Y|X]$ （例如，同方差保证OLS是蓝色的，正则关系的假设使推导“有限样本”结果变得容易等）。

但是，线性假设本身不会在我们的模型中添加任何结构，因为可以是完全任意的。 对于任何变量，无论两者之间的关系如何，我们都可以定义一个使得线性假设成立。 $\epsilon$ $X, y$ $\epsilon$

您在这里的陈述通常涉及因果推断的主要问题！如上面的简单示例所示，我们可以修正结构扰动，这些扰动可使给定的的条件期望线性化。通常，几种不同的结构（因果）模型可以具有相同的观察分布，甚至在没有观察到的关联的情况下甚至可以具有因果关系。因此，从这个意义上讲，您是正确的-我们需要对进行更多假设，以便将“更多结构”放入问题中并使用观测数据确定结构参数。 $y$ $x$ $\epsilon$ $\beta$

边注

值得一提的是，当谈到回归方程和结构方程及其含义时，大多数计量经济学教科书令人困惑。最近已对此进行了记录。您可以在此处查看Chen和Pearl的论文，以及Chris Auld的扩展调查。格林是其中一本检查过的书。

— 卡洛斯·辛内利
source

谢谢，这是我一直在寻找的答案。因此，当您说线性假设是结构假设时，那么与之间的因果关系到底意味着什么？仍然存在因果关系正确吗？只是从到的直接因果关系是线性的，是吗？通过？，对仍然存在高度非线性的因果效应。

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

— user56834

@ Programmer2134是计量经济学教科书草率的另一个领域，您几乎找不到直接/间接影响，中介等方面的参考。如果方程是结构性的，则我们可以将结构性扰动定义为与期望值之差因果效应，即。因此，从这个意义上说，结构并不是由引起的。然而，这并没有告诉我们该协会的和，因为他们可能有共同的原因。

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$

ϵ

$\epsilon$

X

$X$

— 卡洛斯·辛纳利

顺便说一句，@ Programmer2134，您的担心正在正确的轨道上，我认为Pearl的因果推论入门可能是Greene的有趣伴侣！

— 卡洛斯·辛纳利

顺便说一句，我不久前开始阅读Pearl的“因果关系：模型，推理和推理”。我认为这很有趣，但是对我来说有点抽象。我没有超出第二章的范围。您认为“因果推理入门”会更适合吗？（即，更直观地介绍概念）。

— user56834

@ColorStatistics当然可以使用回归进行预测，但是外生性假设则毫无作用。这就是OP质疑Greene为什么不简单地将视为线性的假设而开始怀疑的原因。

E (Y | x)

$E(Y|x)$

— 卡洛斯·辛纳利

在OP和Matthew Drury评论后编辑

为了回答这个问题，我假设Greene和OP考虑到以下线性定义：线性意味着在此预测变量中，每增加一个单位，结果在可能的预测变量值范围内的任何地方都会增加beta（）。这种单位增加的发生。即函数是而不是例如或。此外，该假设集中在beta上，因此适用于预测变量（也称为独立变量）。 $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$

以模型为条件的残差期望是另一回事。是的，的确，线性回归背后的数学定义/尝试定义。但是，通常在的整个拟合/预测值范围内进行设置。如果你看一下线性预测和预测值的特定部分，你可能会注意到异方差（区，其中的变化是比其他地方更大），或区域，其中。和之间的非线性关联可能是造成这种情况的原因，但不是异方差或的唯一原因 $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$ 可能会发生（例如，请参见缺少预测变量偏差）。

从评论中：OP表示“线性假设不会以任何方式限制模型，因为epsilon是任意的，并且可以是XX的任何函数”，我对此表示同意。我认为线性回归能够拟合任何数据（无论是否违反线性假设）都清楚地表明了这一点。我推测这里，但为什么格林选择保留该错误可能是原因公式中-节省了的后-表示，在假设线性，（而不是预期）可以基于被定义，而是保持一定的误差，无论什么样的价值观， $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ $ϵ$ 需要。我只能希望他以后再陈述的相关性。 $E(ϵ|X)=0$

简而言之（诚然，没有充分阅读格林的书并检查他的论点）：

Greene可能是指在整个预测变量范围内，β都是恒定的（重点应放在或方程中的； $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
线性假设确实在模型上增加了一些结构。但是，您应该注意，建模之前的变换或加法（例如样条线）可以使非线性关联符合线性回归框架。

— 信息系统
source

这很有用，但是从任何意义上讲都不需要连续性。如果仅基于预测变量则机制的工作方式相同。

X

$X$

(0, 1)

$(0, 1)$

— Nick Cox

您写了但我想您的意思是。

f (y)

$f(y)$

f (x)

$f(x)$

— Nick Cox

@NickCox我已经编辑了这些要点。

— IWS

普通是什么意思？如果您指的是正常性，那么这是不正确的，因为epsilon的条件期望为零不一定非正常。但是你是说别的吗？同样，是的，对于所有观察，β均假定为常数。鉴于epsilon是任意的并且可以是任何函数，我的论点是线性假设不以任何方式限制模型，您认为这有什么不对？注意，我知道异方差是什么，线性意味着参数而不是变量呈线性。

X

$X$

— user56834'18年

我不同意这一点。期望假设与常态无关，但是绝对要使结构线性假设有意义。否则，如op所指出的，线性假设是没有意义的。正态性假设是完全不同的野兽，并且通常是不需要的。

— 马修·德鲁里

-1

上面的答案让我有些困惑，因此我再给它一个镜头。我认为问题实际上与“经典”线性回归无关，而与该特定来源的样式有关。在经典回归部分：

但是，线性假设本身并没有在我们的模型中添加任何结构

那是完全正确的。如您所述，可能会线性关系并加起来完全独立于东西，因此我们根本无法计算任何模型。 $\epsilon$ $X$

格林草率吗？他是否应该实际写出： $E(y|X)=Xβ$

我不想回答第一个问题，但让我总结一下通常的线性回归所需的假设：

让我们假设您观察（给定了）数据点和对于。您需要假设观察到的数据来自独立且均布的随机变量，使得... $x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

存在一个固定的（独立于），使得所有，而随机变量使得 $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
所述被IID以及和分配成（必须是独立的也一样） $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
对于和，变量具有共同的密度，即单个随机变量的密度为 $X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

现在，您可以沿通常的路径运行并进行计算

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

因此，通过机器学习（误差函数极小化）和概率论（可能性最大化）之间常有“二元”您最大化在而实际上，给你通常的“ RMSE”资料。 $-\log f_{Y|X}(y|x)$ $\beta$

现在，如前所述：如果您所引用的书的作者想说明这一点（如果您希望能够在基本设置中计算“最佳可能”回归线，则必须这样做），是的，他必须根据书中某个位置的正态性进行此假设。 $\epsilon$

现在有不同的可能性：

他没有在书中写下这个假设。这是书中的错误。
他确实以“全局”注释的形式写下了它，例如“ 除非另有说明，否则当我写，的iid正态分布均值为零”。然后恕我直言，这是一种不好的风格，因为它确实引起了您现在感到的困惑。这就是为什么我倾向于在每个定理中以某种简化形式编写假设。只有这样，才能以自己的方式清晰地查看每个构件。 $+ \epsilon$ $\epsilon$
- 他确实将其写下来与您所引用的部分紧密相关，而您/我们只是没有注意到它（还有一种可能性:-)）

但是，从严格的数学意义上讲，正态误差也是标准的（熵最大的分布[一旦固定了方差]，从而产生最强的模型），因此一些作者倾向于跳过该假设，但仍将其用于。形式上，您绝对正确：他们以“错误的方式”使用数学。每当他们想要提出如上所述的密度的方程式时，他们就需要非常了解，否则，在试图写下的每一个有意义的方程式中，它的特性都会飞来飞去。 $f_{Y|X}$ $\epsilon$

— 法比安·沃纳（Fabian Werner）
source

为了使用OLS，不需要将错误进行正态分布。

— user56834

（-1）不需要将错误正态分布。实际上，它们甚至不需要独立或相同分布即可使参数估计无偏并且使测试保持一致。要使OLS成为准确的测试，您需要更严格的规格。

— AdamO '18年

@AdamO：啊？那么，您如何计算可能性呢？或更确切地说，如果您要求执行线性回归：如果误差不是正态分布的并且单个不是独立的，那么您会选择哪条回归线？

ϵ_{i}

$\epsilon_i$

— Fabian Werner

@FabianWerner我对模型的选择取决于要提出的问题。线性回归估计一组数据中的一阶趋势，即“经验法则”将X的差异与Y的差异相关联。如果误差不是正态分布的，则Lindeberg Feller CLT保证CI和PI近似正确即使是很小的样本如果错误是非独立的（并且依赖结构未知），尽管SE可能不正确，但估计值不会有偏差。三明治误差估计减轻了这个问题。

— AdamO