每门Coursera机器学习课程的正则化线性回归成本函数的推导

几个月前，我通过Coursera上了Andrew Ng的课程“机器学习”，没有关注大多数的数学/派生，而是专注于实现和实用性。从那时起，我开始回头研究一些基础理论，并重新审视了吴教授的一些演讲。我正在阅读他关于“正则化线性回归”的演讲，发现他给出了以下成本函数：

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

然后，他为此成本函数给出了以下梯度：

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

我对他如何从一个人到另一个人感到困惑。当我尝试进行自己的推导时，结果如下：

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

区别在于Ng教授公式中原始成本函数和正则化参数之间的“加号”变为其梯度函数中的“减号”，而这并不是我的结果。

凭直觉我理解为什么它是负数：我们通过梯度图减少theta参数，并且我们希望正则化参数减少为避免过度拟合而改变参数的数量。我只是在支持这种直觉的演算上停留了一点。

仅供参考，您可以在此处的幻灯片15和16中找到甲板。

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

现在

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

所以对于线性情况

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

看来您和安德鲁都可能有错别字。好吧，我们三个人中至少有两个似乎如此。

实际上，如果您在视频之后查看讲义，则可以正确显示公式。您在此处排列的幻灯片显示了视频的确切幻灯片。

实际上，我认为这只是一个错字。

$-\alpha$$-\lambda\theta$$-\alpha$

合理？