随机Logistic回归与普通香草Logistic回归之间的差异

我想知道之间的差异随机Logistic回归（RLR）和普通的Logistic回归（LR），因此，我正在读一纸“稳定性选择”通过Meinshausen等。; 但是我不明白什么是RLR，以及RLR和LR之间的区别。

有人可以指出我应该读些什么才能理解RLR吗？还是有一个简单的例子开始？

您可能想查看此参考。Sci-kit learning实现了随机逻辑回归，并在其中描述了该方法。

但是要回答您的问题，这两种方法的目标差异很大。Logistic回归与拟合模型有关，RLR与找到模型中的变量有关。

香草逻辑回归是广义线性模型。对于二进制响应，我们假定响应概率的对数几率是许多预测变量的线性函数。使用最大似然估计预测变量的系数，然后基于模型的大样本属性来推断参数。为了获得最佳结果，我们通常假设该模型相当简单并且易于理解。我们知道哪些自变量会影响响应。我们要估计模型的参数。

当然，实际上，我们并不总是知道模型中应包含哪些变量。在潜在解释变量的数量巨大且其值稀疏的机器学习情况下尤其如此。

多年以来，许多人试图使用统计模型拟合技术来进行变量（读作“特征”）选择。在提高可靠性方面：

1. 拟合一个大模型，并使用不重要的Wald统计信息删除变量。并非总是能产生最好的模型。
2. 查看所有可能的模型并选择“最佳”。计算强度大且不可靠。
3. 用L1惩罚项（套索样式）拟合大型模型。无用的变量会被丢弃。更好，但对于稀疏矩阵不稳定。
4. 随机化方法3.取随机子集，对每个子集拟合一个惩罚模型并整理结果。选择经常出现的变量。当响应为二进制时，这是随机逻辑回归。可以使用连续数据和通用线性模型提取相似的技术。