关于偏差方差折衷和优化方法的问题

因此，我想知道当面对高偏差或高方差问题时，如何才能最好地优化他们要建立的模型。现在，当然，您可以使用正则化参数来达到令人满意的效果，但是我想知道是否可以不依靠正则化来实现此目的。

如果b是模型的偏差估计量，而v是模型的方差，那么尝试最小化b * v是否有意义？

有很多方法可以使偏差和方差最小化，尽管流行的说法并不总是这样。

对于原因主要有两个高偏置是模型能力不足和欠拟合因为训练阶段是不完整的。例如，如果您要解决的问题非常复杂（例如，图像识别），并且使用的是低容量模型（例如，线性回归），则该模型将具有较高的偏差，因为该模型无法掌握模型的复杂性。问题。

高差异的主要原因是训练集过拟合。

话虽这么说，但是有减少 ML模型上的偏差和方差的方法。例如，实现此目标的最简单方法是获取更多数据（在某些情况下，甚至合成数据也有帮助）。

我们在实践中倾向于做的是：

• 首先，我们增加模型的能力，以尽可能减少训练集的方差。换句话说，我们要使模型过拟合（甚至在训练集上达到0的损失）。这样做是因为我们要确保模型具有充分理解数据的能力。

• 然后我们尝试减少偏差。这可以通过正则化（提前停止，规范处罚，辍学等）来完成。