正则化：为什么要乘以1 / 2m？

10

在吴安德（Andrew Ng）的Coursera机器学习课程的第3周讲义中，费用函数中添加了一个术语以实现正则化：

J^{+} (θ) = J (θ) + \frac{λ}{2 m} \sum_{j = 1}^{n} θ_{j}^{2}

$J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2$

讲义说：

我们还可以将所有theta参数归一化：

$m i n_{θ} \frac{1}{2 m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}]$ $min_\theta\ \dfrac{1}{2m}\ \left[ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\ \sum_{j=1}^n \theta_j^2 \right]$

$\frac 1 {2m}$ 稍后应用于神经网络的正则化项：

回想一下正则逻辑回归的成本函数为：

$J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))] + \frac{λ}{2 m} \sum_{j = 1}^{n} θ_{j}^{2}$ $J(\theta) = - \frac{1}{m} \sum_{i=1}^m [ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)}))] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$
对于神经网络，它将稍微复杂一些：
$\begin{matrix} J (Θ) = - \frac{1}{m} \sum_{i = 1}^{m} \sum_{k = 1}^{K} [y_{k}^{(i)} \log ((h_{Θ} (x^{(i)}))_{k}) + (1 - y_{k}^{(i)}) \log (1 - (h_{Θ} (x^{(i)}))_{k})] + \frac{λ}{2 m} \sum_{l = 1}^{L - 1} \sum_{i = 1}^{s_{l}} \sum_{j = 1}^{s_{l + 1}} (Θ_{j, i}^{(l)})^{2} \end{matrix}$ $\begin{gather*} J(\Theta) = - \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 - y^{(i)}_k)\log (1 - (h_\Theta(x^{(i)}))_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_{l+1}} ( \Theta_{j,i}^{(l)})^2\end{gather*}$

为什么在这里使用恒定的二分之一？从而在导数抵消了它？ $J'$
为什么要除以训练实例？大量的培训示例如何影响事物？ $m$

regularization

— 汤姆·黑尔
source

您确定1 / m是正则化的，而不是J（theta）AFAIK @DikranMarsupial的答案是做这个假设......还是J（theta）本身有1 / m项？

— seanv507

这种假设是不正确的适用于非正规成本函数和正规化项。我已经更新了问题以提供完整的公式。

\frac{1}{2 m}

$1 \over 2m$

— 汤姆·黑尔

5

假设您有10个示例，并且没有将L2正则化成本除以示例数m。然后，与交叉熵成本相比，L2正则化成本的“优势”将为10：1，因为每个训练示例可以按比例将总成本贡献给1 / m = 1/10。

如果有更多示例，例如100，那么L2正则化代价的“支配性”将类似于100：1，因此您需要相应地减小λ，这很不方便。无论批次大小如何，最好都保持λ常数。

更新：为了使这一论点更强，我创建了一个jupyter笔记本。

— 格蕾兹
source

1

嗯，但不是每个培训示例对成本均等地贡献成本函数之前1 / m因子的目的？因此，由于我们已经在平均各个成本，因此这不应成为L2项占主导地位的原因。但是，我确实从您的出色模拟中看到，L2项之前的1 / m因子确实有帮助。我只是不了解它的直觉（尚未）。

— Milania

为什么不方便？将L2成本除以样本数很简单。我认为也许您用错误的方式讲了这句话。我想您是想说每次手动缩放L2成本是不方便的，最好将除以样本数作为公式的一部分自动缩放。

— SpaceMonkey

6

训练集的损失函数通常是构成训练集的模式的总和，因此，随着训练集变大，第一项基本上与成线性比例关系。如果我们先将正则化项除以以抵消对的依赖性，则可以缩小搜索范围以获得的良好值。当然，分母2实际上是为了简化用于确定最佳的优化算法所需的导数。 $J(\theta)$ $m$ $\lambda$ $m$ $J(\theta)$ $m$ $\theta$

— 迪克兰有袋动物
source

感谢您解释

的非正规成本缩放。我仍然不知道如何将

除以如何使单个

值在

差异很大的情况下更好地工作。非正则化成本已经严重依赖于

，那么为什么要关心正则化项呢？它依赖于

参数，而不是

示例？是否因为有了更多的训练示例，在参数数量相同的情况下方差会减小？

m

$m$

m

$m$

λ

$\lambda$

m

$m$

m

$m$

n

$n$

m

$m$

— 汤姆·黑尔

问题中的损失函数是所有示例的平均值（即，它除以m）而不是总和，因此我并不真正了解此答案的工作原理。

— Denziloe

@Denziloe它也适用于正则化项。

— 迪克兰有袋动物

2

在上这门课程时，我想知道完全相同的一件事，最后进行了一些研究。我会在这里给出一个简短的答案，但是您可以在我撰写的有关该文章的博客文章中阅读更详细的概述。

我相信这些缩放系数的至少部分原因是，通过引入相关但不完全相同的权重衰减概念，L²正则化可能进入了深度学习领域。

然后有0.5个因子可以得到一个很好的仅λ系数，用于梯度中的权重衰减，并且按m缩放...好吧，我至少发现或提出了5种不同的动机：

批量下降的副作用：当梯度下降的单个迭代在整个训练集上形式化时，导致有时称为批量下降的算法（比例系数为1 / m）引入，以使成本函数具有可比性跨不同大小的数据集，将自动应用于权重衰减项。
重新调整为单个示例的权重：请参阅grez有趣的直觉。
训练集的代表性：随着训练集的大小增加，按比例缩小正则化是有意义的，从统计学上讲，其在整体分布中的代表性也增加了。基本上，我们拥有的数据越多，所需的正则化就越少。
使λ具有可比性：通过希望减轻m更改时对λ的需求，这种缩放比例使λ本身在不同大小的数据集之间具有可比性。这使λ成为特定模型在特定学习问题上所需的实际正则化程度的更具代表性的估计。
经验价值：这款出色的笔记本电脑grez证明了它在实践中可以提高性能。

— ShayPal5
source

0

我对此也感到困惑，但是随后在一场关于Deeplearning的演讲中.ai Andrew建议这只是一个缩放常数：

http://www.youtube.com/watch?v=6g0t3Phly2M&t=2m50s

使用1 / 2m也许有更深层次的原因，但我怀疑这只是一个超参数。

— 凯恩
source

这不能回答问题。

— Michael R. Chernick