OLS是蓝色的。但是，如果我不在乎无偏和线性怎么办？

高斯-马尔可夫定理告诉我们，OLS估计量是线性回归模型的最佳线性无偏估计量。

但是，假设我不在乎线性和无偏性。那么，对于线性回归模型，是否还有其他（可能是非线性/有偏的）估计量，在高斯-马尔可夫假设或其他一些一般假设下效率最高？

当然，有一个标准的结果：如果除高斯-马尔可夫假设之外，我们还假设误差是正态分布的，则OLS本身就是最佳的无偏估计量。对于其他一些特定的误差分布，我可以计算相应的最大似然估计量。

但是我想知道在某些相对通用的情况下是否存在某种比OLS更好的估计器？

入门级统计课程通常采用无偏估计，因为它们是：1）经典，2）易于数学分析。Cramer-Rao下限是2）的主要工具之一。除了无偏估计之外，还有可能会有所改善。偏差方差折衷是统计中的一个重要概念，用于了解偏差估计如何比无偏差估计更好。

不幸的是，有偏估计量通常更难分析。在回归分析中，过去40年中的许多研究都与偏向估计有关。这始于山脊回归（Hoerl and Kennard，1970）。有关评论和见解，请参见弗兰克和弗里德曼（1996）和伯尔和弗莱（2005）。

$p \geq 3$

偏差差异问题的重要部分是确定应如何权衡偏差。 没有单一的“最佳”估算器。在过去的十年中，稀疏性一直是研究的重要组成部分。参见Hesterberg等。（2008）进行部分审查。

$Y$

我不知道您对贝叶斯估计是否满意？如果是，则可以根据损失函数获得不同的贝叶斯估计值。布莱克韦尔的一个定理指出，贝叶斯估计永远不会无偏。决策理论论证指出，每条可容许规则（（或与之比较的每条其他规则，都有一个参数值，对于该参数值，当前规则的风险（严格地）小于与之相对应的规则的风险）。被比较））是一个（通用的）贝叶斯规则。

James-Stein估计量是另一类估计量（可以通过贝叶斯方法渐近导出），在许多情况下，它们比OLS更好。

在许多情况下OLS都是不可接受的，James-Stein Estimator就是一个例子。（也称为斯坦因悖论）。

凯（Kay）和埃尔达（Eldar）有一篇很好的评论文章，关于偏向估计，目的是寻找具有最小均方误差的估计量。