带拉普拉斯误差的线性回归

考虑线性回归模型：

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ 其中

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ ，即，具有

0

$0$ 均值的拉普拉斯分布和

b

$b$ 标度参数都是相互独立的。考虑未知参数

的最大似然估计

β

$\boldsymbol \beta$ ：

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ 从其中

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

在该模型中，如何找到残差 $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ 分布？

regression laplace-distribution

— 纳美西
source

查找残差分布是什么意思？

— jlimahaverford

由于残差可以分组为随机向量，因此我想知道其分布。至少前两个时刻。

— nmerci

知道了谢谢！您是否考虑过模拟和绘图？

— jlimahaverford

是的，我想为残差构造一个置信区域。例如，对于高斯误差，该区域是椭圆体。

— nmerci

假定残差（实际上称为错误）以双指数分布（拉普拉斯分布）随机分布。如果要拟合此x和y数据点，请进行数字处理。首先，使用上面发布的公式，整体上为这些点计算beta-hat_ML。这将确定一条穿过这些点的线。然后从该点的线的y值减去该点的y值。这是该点的残差。所有点的残差可用于构建直方图，该直方图将为您提供残差的分布。

Yang（2014）发表了一篇很好的数学文章。

-李

— 李庚
source

链接无效。

— Michael R. Chernick