提升：为什么将学习率称为正则化参数？

所述学习率参数（在梯度）推进收缩每个新的基础模型-通常浅树形是在串联加入的贡献。它被证明可以极大地提高测试仪的精度，这是可以理解的，因为步数越小，损耗函数的最小值就可以越精确地达到。 $\nu \in [0,1]$

我不明白为什么学习率被视为正则化参数？引用统计学习的要素，第10.12.1节，第364页：

控制树的数量不是唯一可能的正则化策略。与山脊回归和神经网络一样，也可以使用收缩技术。值越小 （收缩率越大），对于相同数量的迭代M，导致更大的训练风险。因此，ν和M都控制训练数据的预测风险。$\nu$$M$$\nu$$M$

正则化意味着“避免过度拟合的方式”，因此很明显迭代次数在这方面至关重要（M太大会导致过度拟合）。但：$M$$M$

值越小（收缩率越大），对于相同数量的迭代M，导致更大的训练风险。$\nu$$M$

仅仅意味着在低学习率的情况下，需要更多的迭代才能在训练集上达到相同的准确性。那么，这与过度拟合有何关系？

假设您正在尝试通过迭代次数最小化目标函数。当前值为。在给定的数据集中，没有“不可减少的错误”，您可以将损失降至最低$100.0$训练数据 0.0。现在，您有两种方法可以做到这一点。$0.0$

• 第一种方法是“大学习率”和很少的迭代。假设您可以在每次迭代中将损失降低，然后在$10.0$$10$次迭代中，您可以将损失减少至。$0.0$

• 第二种方法是“学习速度慢”，但迭代次数更多。假设您可以在每次迭代中将损失减少，并且您需要进行100次迭代才能使训练数据损失0.0。$1.0$$100$

现在考虑一下：这两种方法是否相等？如果不是，那么在优化上下文和机器学习上下文中哪个更好？

在优化文献中，这两种方法是相同的。因为它们都收敛到最优解。另一方面，在机器学习中，它们并不相等。因为在大多数情况下，我们不会将训练损失设为，否则会导致过度拟合。$0$

我们可以将第一种方法视为“粗级网格搜索”，将第二种方法视为“细级网格搜索”。第二种方法通常效果更好，但是需要更多的计算能力才能进行更多的迭代。

为了防止过度拟合，我们可以做不同的事情，第一种方法是限制迭代次数，假设我们正在使用第一种方法，将迭代次数限制为5。最后，训练数据的损失为$50$。（顺便说一句，从优化的角度来看，这很奇怪，这意味着我们将来可以改进我们的解决方案/它尚未收敛，但我们选择不这样做。在优化中，通常我们会向目标函数明确添加约束或惩罚项，但通常不限制迭代次数。）

另一方面，我们也可以使用第二种方法：如果我们将学习率设置为较小，比如说每次迭代减少损失，尽管我们有很多次迭代（例如500次迭代），我们仍然没有将损失最小化为0.0。$0.1$$500$$0.0$

这就是为什么小学习率等于“更多正则化”的原因。

这是一个使用的实验数据使用不同学习率的示例xgboost。请检查follwoing两个链接，看看有什么不eta和n_iterations的意思。

Tree Booster的参数

XGBoost控制过度拟合

对于相同的迭代次数，说。小学习率表示“欠拟合”（或者模型具有“高偏差”），大学习率表示“过度拟合”（或者模型具有“高方差”）。$50$

PS。拟合不足的证据是训练集和测试集都有较大的误差，并且训练集和测试集的误差曲线彼此接近。过度拟合的迹象是训练集的误差非常低，而测试集则很高，两条曲线彼此相距很远。

使用牛顿法，可以通过减去损耗的斜率除以损耗的曲率来更新参数。在梯度下降优化中，您可以通过减去损耗的梯度乘以学习率来更新参数。换句话说，学习率的倒数用于代替实际的损耗曲率。

让我们将问题损失定义为定义什么是好模型还是坏模型的损失。这是真正的损失。让我们定义最佳损耗通过更新规则实际最小。

根据定义，正则化参数是优化损失中的任何术语，但不是问题损失。由于学习率在优化损失中的作用类似于额外的二次项，但与问题损失无关，因此它是一个正则化参数。

证明此观点合理的其他正则化示例包括：

• 重量衰减，就像优化损失中的额外术语一样，它会惩罚大重量，
• 惩罚复杂模型的条款，以及
• 惩罚要素之间相关性的术语。