什么时候模型不足？

逻辑经常指出，通过对模型进行拟合，可以增强其概括能力。就是说，显然，在某个时候，模型的拟合不足会导致模型变得更糟，无论数据的复杂性如何。

您怎么知道您的模型何时达到了适当的平衡，并且不符合其要建模的数据？

注意：这是我的问题“ 为什么过度拟合不好？ ” 的后续措施。

当对于要建模的数据而言过于简单时，模型就不合适。

检测这种情况的一种方法是使用偏差-方差方法，该方法可以表示为：

当您有很高的偏见时，您的模型就不合适。

要知道您的偏倚是否太高或方差太高，您可以从训练和测试错误的角度查看该现象：

高偏差：此学习曲线在训练集和测试集上均显示高误差，因此该算法存在高偏差：

高方差：该学习曲线显示出训练和测试集错误之间的较大差距，因此该算法存在高方差。

如果算法遭受高方差：

• 更多数据可能会有所帮助
• 否则降低模型复杂度

如果算法遭受高偏差：

• 增加模型复杂度

我建议观看Coursera的机器学习课程 “ 10：应用机器学习的建议”部分，从中我可以看到上面的图表。

要回答您的问题，重要的是要了解您正在寻找的参考框架，如果您正在寻找在哲学上要在模型拟合中尝试达到的目标，请查看鲁本斯的回答，他在解释这种情况方面做得很好。

但是，实际上，您的问题几乎完全由业务目标定义。

举一个具体的例子，假设您是一名信贷员，您发放了 3,000 美元的贷款，当人们还款时您赚了 50 美元。自然地，您正在尝试建立一个模型来预测某人是否违约。贷款。让我们保持简单，说结果是全额付款或违约。

从业务角度看，您可以用权变矩阵总结模型的性能：

当模型预测某人将要违约时，他们会吗？要确定过度拟合和不足拟合的缺点，我认为将其视为优化问题会有所帮助，因为在预测诗句的每个横截面中，实际模型的性能都将产生成本或利润：

在这个例子中预测默认这是一个默认的手段避免任何风险，并预测非默认不违约将使$每发出贷款50。问题出在哪里，当您错了，如果您在预测为非违约时违约，则您将损失全部贷款本金；如果在客户实际上不会让您遭受50 美元的错失机会时，则预测为违约。这里的数字并不重要，只是方法。

通过这个框架，我们现在可以开始理解与过度安装和安装不足相关的困难。

在这种情况下，过度拟合意味着您的模型在开发/测试数据上的性能要比在生产环境下好得多。或者换一种说法，您的生产模型将远远不如您在开发中看到的模型，这种错误的信心可能会导致您承担更多的风险贷款，否则您将很容易遭受亏损。

另一方面，在这种情况下进行拟合会给您留下一个模型，该模型很难完成与现实的匹配。尽管其结果可能是不可预测的（您想描述预测模型的反义词），但通常会收紧标准以弥补这一点，从而导致总体客户减少，从而导致良好客户流失。

过度拟合会遇到与过度拟合相反的困难，过度拟合会使您的信心降低。令人难以置信的是，缺乏可预测性仍然导致您承担意料之外的风险，所有这些都是坏消息。

以我的经验，避免这两种情况的最佳方法是在完全不在训练数据范围内的数据上验证模型，因此您可以放心，您可以在野外看到代表性的样本'。

此外，始终定期重新验证模型，确定模型降级的速度以及是否仍在实现目标始终是一个好习惯。

就某些方面而言，当您的模型在预测开发和生产数据方面做得很差时，模型就不适用。

模型只是现实生活中所见事物的抽象。它们的设计目的是在观察时抽象出真实系统的细微差别，同时保留足够的信息以支持所需的分析。

如果模型过拟合，则会考虑到太多关于观察到的细节，并且此类对象的微小变化可能会导致模型失去精度。另一方面，如果模型不适合，则它评估的属性很少，因此可以忽略对象上值得注意的更改。

还要注意，欠拟合可能会被视为过拟合，具体取决于数据集。如果你的输入可以是99％-correctly-归类为具有单一属性，你过拟合通过简化抽象到一个单一的特性模型中的数据。而且，在这种情况下，您会将太多的1％的基数归纳为99％的类-或还指定了太多的模型以至于只能看到一个类。

通过执行交叉验证，可以合理地说出模型既不完备也不不足。您将数据集分为k个部分，然后说，选择其中一个进行分析，而使用其他k-1个部分训练模型。考虑到输入本身没有偏倚，您应该能够像在现实生活中使用模型时那样，拥有与训练和评估数据一样多的方差。

简而言之，一种常见的方法是增加模型的复杂性，使其变得简单，并且一开始很可能会拟合不足，并使用重新采样技术（例如交叉验证，自举，等等

您可以通过在模型中添加参数（人工神经网络的隐藏神经元数量，随机森林中的树木数量）或放宽正则化项（对于支持向量机通常称为lambda或C）来增加复杂性。

财务中的CAPM（资本资产定价模型）是欠拟合模型的经典示例。它建立在美好的理论基础上，即“投资者只为无法分散的风险付费”，因此预期超额收益等于与市场收益的相关性。

根据公式[0]，Ra = Rf + B（Rm-Rf），其中Ra是资产的预期收益，Rf是无风险利率，Rm是市场收益率，Beta是与股权溢价的相关性（Rm-Rf）

这是美丽，优雅和错误的。投资者似乎要求更高比例的小型股票和价值（按账面价值或股息收益率定义）的股票。

Fama和French [1]提出了对该模型的更新，其中增加了有关大小和价值的其他Beta。

那么，从一般意义上来说，您怎么知道？当您做出的预测错误时，另一个带有逻辑解释的变量将提高预测质量。容易理解为什么有人会认为小股票具有风险，而不受不可分散风险的影响。有数据支持，这是一个好故事。

[0] http://www.investopedia.com/terms/c/capm.asp [1] http://en.wikipedia.org/wiki/Fama%E2%80%93French_three-factor_model