岭回归-贝叶斯解释

我听说，如果适当选择先验，则可以将岭回归作为后验分布的平均值。直觉是先验对回归系数设置的约束（例如，标准正态分布在0附近）是否相同/替换对系数平方大小设置的惩罚？要保持等价，先验是否必须是高斯？

不，从某种意义上说，其他先验在逻辑上确实与其他惩罚有关。通常，您确实希望更多质量接近零效果（）以减少过度拟合/过度解释。里奇是二次（L2，高斯）罚分，套索是（L1，拉普拉斯或双指数分布）惩罚。还有许多其他处罚（优先）。贝叶斯方法的优点是产生可靠的解释（以及可靠的可靠区间），而受罚的最大似然估计（岭，套索等）会产生难以解释的和置信区间，因为惯常方法有些困惑偏向（缩小至零）的估算器。$\beta=0$$|\beta|$$P$

两点：

在贝叶斯情况下的后验分布是分布。岭回归估计是一个简单的矢量β，而不是一个分布。因此它们并不完全等效。 $\hat{\beta}$

的确，在多元正常先验和多元正常似然的情况下，后验是多元正态，均值是针对适当选择的岭参数的岭回归估计。

证明取决于先验和似然的特定形式，不适用于更一般的先验或似然函数。