线性回归：是否有任何非正态分布给出OLS和MLE的身份？

13

在通常的线性回归模型中，为了简单此处写入只有一个预测器：

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ 其中

x_{i}

$x_i$ 是已知的常数，

ϵ_{i}

$\epsilon_i$ 是零均值独立误差项。如果我们除了承担的误差正态分布，则通常的最小二乘估计和最大似然估计

β_{0}, β_{1}

$\beta_0, \beta_1$ 是相同的。

因此，我的问题很简单：误差项是否存在其他分布，以使mle与普通最小二乘方估计量相同？一种含义很容易显示，另一种则不然。

— 凯捷蒂尔·哈沃森
source

1

（+1）它必须是一个以零为中心的分布，并且如果它是对称的1似乎会有所帮助。想到的某些候选对象（例如t或Laplace分布）似乎并没有发挥作用，因为即使仅在恒定情况下，MLE也无法以封闭形式或由中位数给出。

— Christoph Hanck

另请参阅stats.stackexchange.com/questions/99014/…，似乎只有这么多

— Christoph Hanck

我确定答案是否定的。但是可能很难写出严格的证明。

— Gordon Smyth

11

在最大似然估计中，我们计算

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

最后一个关系考虑了回归方程的线性结构。

相比之下，OLS估计量满足

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

为了获得相同的斜率系数代数表达式，我们需要具有误差项的密度，使得

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

这些是形式为微分方程有解决方案 $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

具有此内核并在适当域上集成为一体的任何函数，都将使斜率系数的MLE和OLS相同。即我们正在寻找

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

$g$

当然。但是还需要考虑的另一件事是：如果在指数中使用加号，并在例如零附近使用对称支撑，则将获得一个密度，该密度在中间具有唯一的最小值，而在该位置具有两个局部最大值支持的边界。

— 阿莱科斯·帕帕多普洛斯
source

很好的答案（+1），但是如果函数中使用加号，它甚至是密度吗？这样看来，该函数具有无限积分，因此无法归一化为密度函数。如果是这样，我们只剩下正态分布。

— 本-恢复莫妮卡

1

(a, b)

$(a,b)$

是的-我以为是。

— 本-恢复莫妮卡

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$ 不依赖于参数。因此，这种分布是无限的。

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

两个估计值都重合的另一个设置是当数据来自球对称分布时，即（矢量）数据具有条件密度加上递减函数。（在这种情况下，OLS仍然可用，尽管的独立性仅在正常情况下成立。） $\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— 西安
source

1

这对我来说似乎不正确。如果您使用不同的球对称分布，这是否会导致最小化范数不同于平方的函数（因此不是最小二乘估计）？

— 本-恢复莫妮卡

1

我不知道这个问题，直到@ Xia'an刚刚更新了答案。还有一个更通用的解决方案。具有某些参数的指数族分布将收益固定为Bregman散度。对于这样的分布，平均值就是最小化。OLS最小化器也是平均值。因此，对于所有这样的分布，当线性函数链接到均值参数时，它们应该重合。

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— 卡格达斯·厄兹根奇
source