为什么不能使用相同的方法估算线性和逻辑回归系数？

我在一本机器学习书中读到，可以通过梯度下降来估算线性回归的参数（以及其他方法），而逻辑回归的参数通常是通过最大似然估计来估算的。

是否可以向新手（我）解释为什么我们需要不同的线性/逻辑回归方法。aka为什么不使用MLE进行线性回归，为什么不使用梯度下降进行logistic回归？

你把苹果和桔子弄混了。可以，因为它们都很好吃。

最大似然估计大约是什么你最小化梯度下降是关于如何最大限度地减少它。

为什么不使用MLE进行线性回归？

实际上，线性回归是通过最大似然估计来解决的。标准的“最小化平方误差之和”方法在数学上等同于使用条件正态分布的最大似然估计。

为什么不采用梯度下降进行逻辑回归？

您可以通过使用梯度下降来最小化似然函数来完全解决逻辑回归。实际上，这是一个很棒的练习，我建议每个人至少做一次。

梯度下降不是标准方法。该奖项归功于迭代地重新加权最小二乘 / 牛顿法，这是对梯度下降的一种增强，它也考虑了二阶导数。事实证明，此方法比梯度下降具有更好的属性，但是要理解和实现则要棘手。