从工程的角度来看,过于精确的模型有哪些弊端?


24

从工程的角度来看,我想知道是什么原因会导致建模的准确性太高?

从科学的角度来看,除了您需要花费更少的计算时间外,似乎几乎总是一种好处。

因此,从工程角度来看,除了时间(或计算能力)外,为什么还要避免这种情况?


2
请在此定义“准确性”和“太多”。您可以使用一个模型来预测不确定性范围,以达到非常高的准确性,或者使用一个模型将所述不确定性本身降低到非常小的值。等等。
卡尔·威索夫特

1
“一切都应该尽可能简单,但不要简单。”爱因斯坦。
埃里克·杜米尼尔

1
“除了时间(或计算能力)之外”,似乎所有答案都错过了这一点
。–

1
@agentp相反,问题通过尝试排除它来解决。首先要提出这个问题是很愚蠢的。
jpmc26 2017年

2
这是我所见过的最糟糕的“最高投票率”问题。完全令人困惑。
agentp

Answers:


38

提防过度拟合。从系统中收集数据的更准确模型可能无法更好地预测系统的未来行为。

过度拟合的例子

上图显示了一些数据的两个模型。

线性线在训练数据(图形上的点)上有些精确,并且(有人会期望)在测试数据上有些精确(其中点可能是x <5和x> -5的点) )。

相比之下,多项式对于训练数据而言是100%准确的,但是(除非出于任何物理原因,除非您有任何理由相信9次多项式是合理的),否则您会认为对于x> 5和x <-5。

基于将误差与我们收集的数据进行的任何比较,线性模型的准确性较低。但这是更普遍的。

此外,工程师不必担心他们的模型,而更多地担心人们将如何使用该模型。

如果我告诉您我们正在炎热的天气中散步,预计持续426分钟。您带来的水量可能少于我告诉您的步行将持续7小时的时间,甚至比我说的步行将持续4-8小时的时间少。这是因为您是在回应我对我的预测的隐含信心,而不是我陈述的时间的中点。

如果给人们一个准确的模型,人们将减少他们的误差幅度。这导致更大的风险。

以炎热的天气为例,如果我知道在95%的情况下,步行将需要4到8个小时,并且导航和步行速度存在一些不确定性。完全知道我们的步行速度将减少4-8身材的不确定性,但不会显着影响“我们花很长时间使水成为问题的机会”,因为这几乎完全是由不确定的航行所驱动,而不是不确定的步行速度。


1
是的,尽管我想说一个次数为的多项式是一个举止异常的例子。绝对不应该使用这种模型。明智的模型,即使过度拟合,也不应那样爆炸,除非您实际离开了测量范围。实际上,在给定这些数据的情况下,即使是8级多项式也已经可以使拟合更加平滑。N
大约

链接的Wikipedia文章的主要语录:“当模型开始“记忆”训练数据而不是“学习”趋势的概括时,就会发生过度拟合。”
Emilio M Bumachar

4
我们真的会认为过度拟合是“模型中的准确性太高”吗?这不是“模型太精确”的缺点。这是太多准确点和不良建模的不利方面。用准确的数据制作不好的模型并不是正确的模型。
JMac

@JMac:过度拟合可能会在机器学习环境中自然发生,而不必故意在建模集中抛出太多数据而开始构建不良模型。我不确定“太准确”是描述这种结果的正确方法,但也不是“简单建模错误”。
凯文(Kevin)

26

最明显的不利因素是成本,所有工程项目的预算都有限,花费比您所需更多的钱显然是一件坏事,更何况浪费时间。

还可能存在更细微的问题。诸如有限元分析之类的事情总是近似的,有时添加不必要的细节会引入伪像,使对模型进行故障排除更加困难。例如,您可能会遇到不连续现象,从而导致压力上升

还需要考虑的是,即使您具有计算能力来舒适地处理大量数据供应商,客户也可能没有,而且在许多情况下,传输大文件仍然是一个瓶颈。

同样,如果您有更多的参数,则可能会在管理和调试文件时进行额外的工作。

同样,即使您现在有充裕的时间和资源,也很可能是有些人需要使用该模型而没有同样的奢侈,尤其是当它最终成为您要销售给客户的产品的一部分时。


7
查询:第2段应阅读它“...添加必要的细节......”或‘加入联合国必要的细节’
弗雷德

是的,应该没有必要
克里斯·约翰斯

我不确定FE示例在这里是否工作良好。在这种情况下,FE 模型。使用更准确的数据可能会带来问题;但是,如果您的有限元模型是准确的,那么显然您不必担心伪像;因为您的模型没有它们。我们已经定义为准确的。也许是在使用其他模型插入有限元分析的情况下;但这只是使用该模型“深入人心”的要点。
JMac

13

有几个原因。

从纯粹务实的角度来看,这是由于时间限制。解决模型所需的时间远远超过精度水平,而且采用哪种水平都是主观的。

±515%

因此,过于精确是没有意义的。但是确实,甚至不尝试变得过于精确也可能是有益的。但是,其原因主要是心理上的。主要是,您不想让模型过于精确,也不想以小数点后七个位来输出结果,因为您不想引起错误的信心。

人类的大脑硬性认为1.2393532697比1.2更准确。但是实际上并非如此。由于现实世界中的所有不确定因素,您的模型可能无法考虑(特别是在当前硬件限制的情况下),因此1.2几乎可以肯定与1.2393532697一样有效。因此,不要掩饰自己或任何看到您模型的人。仅输出1.2,这透明地指示您实际上不知道第二位数字后的情况。


6

极其精确的模型可能需要大量的输入数据。例如,通过将大气中每个气体分子的位置和速度作为输入,可以生成一个出色的天气系统模型。在实践中,这样的模型将无用,因为没有现实的方法来生成正确的输入。在这种情况下,只需要有限输入数据的不太准确的模型将是可取的。


1
您回答了一个不同的问题,比如:“多少输入数据太多了”
Carl Witthoft

我可能会在此处添加一条注释,说明问题是如何提到“除了需要较少的计算时间时”,因为这也是使用较不精确模型的充分理由;如果您的模型过于精确,则实际情况所需的时间可能比宇宙的热死时间要长。
Delioth '17

5

“太准确”不是单调的。实际上,它可能会产生一种逼真的错觉,使您认为值得在仿真中投入更多的资金。当您从混合逼真度模型中呈现数据时,这变得非常重要,其中某些部分非常详细,而另一些部分则非常粗糙。

我曾在一个现实生活中涉及过在整个地形上采样海拔高度的示例。该小组决定对1024个地形进行采样,以使保真度最大化。我们的客户想要一个ReallyGood(tm)答案。

现在,我对这种特定算法导致的运行时命中率感到不安,我想了解一下我实际上在支付多少保真度。我没有看到任何地形数据,所以我问他们如何加载。答案是“哦,我们没有地形。它只是平坦的。”

听起来好像我有一个很棒的高保真模型,采样了1024点。我实际上拥有的是一个低保真度模型,它没有比1024点采样1点更好,但运行速度却慢了整整一吨,并被伪装成高保真度模型!

在实际的工程世界中,领导者并不总是有机会学习模型的整个架构。实际上,我会说他们从来没有时间。我们的领导层是在假设我们拥有出色的1024点模型的情况下做出决策的。没有人有过错,当您在模型的一部分上将保真度调得过高而在另一部分上保真度低时,就会发生这种情况。它具有混合保真野兽的性质。


关于如何减少为有效数字的比喻并不总是仅仅消除尾随零。
Eikre,2017年

1

在现实中,我们有数据,有我们的数据具备。几乎总是,由于实际或经济原因,我们所没有的数据量远远超过了我们希望收集的数据量。

因此,通过尝试将数据很好地拟合到少量样本中,我们将冒着风险,使我们的模型对我们诚实地毫无头绪(由于缺乏数据)的区域进行错误的估计。然后,我们的模型将给我们一种错误的安全感。


1

因此,从工程角度来看,除了时间(或计算能力)外,为什么还要避免这种情况

从机械工程的角度来看,最大的原因是,只有在产生明显不同的结果时,您才愿意付出额外的努力。

如果模型中的精度水平比精度水平高出几个数量级,那么您在执行设计时就可以提供这种精度水平,那是在浪费您的精力。如果模型中描述的准确性水平高于对客户有影响的要求水平。你在浪费钱。例如,如果您指定的精度比设计要求的精度高(例如,排气管的长度为+/- .00001mm),那是在浪费客户钱,因为350mm的排气孔与350.0005mm的排气孔几乎一样大气,但后者的生产成本明显更高。

在大学里,我们都学会了使用牛顿物理学对物理世界进行建模,尽管众所周知,后牛顿物理学可以提供更准确的物理行为模型。尽管如此,我知道没有一个机械工程程序默认情况下会避免牛顿模型过于不精确。如果我们使用更准确的模型,并且得出的答案与理论真相相差0.1%,那么在大多数情况下都不会影响我们的最终设计。如果我们的屈服应力相差0.1%,那么我们所需的横截面就不会有明显的差异,这使我们可以根据两种方法选择完全相同大小的工字梁。在这种情况下,付出额外努力的成本不会带来任何额外收益。

现在,在某些情况下,需要精确才能产生可​​行的设计,例如对某些相对论物理学所需的卫星进行建模。在这种情况下,我们需要找到一个能够提供所需精度水平的模型,并且需要对模型进行设计。如果我们需要将尺寸计算为+/- 0.0001%,那么如果零件尺寸为+/- 0.1%,那将完全是浪费了精力。在实际应用中,后者精度等级的零件尺寸比前者更为常见。


0

成本:时间成本或计算能力成本以及准确性成本-如果其他变量的容差为5%,例如为什么计算结果为1%...


0

在前面的答案中,提到了投入和成本。如果您想要准确性,例如。在优化生产参数时,您可能需要进行更多的测量,首先您需要分析可以减少多少成本以及多少工作时间,因此增加费用是为了提高测量频率或自动化系统的成本(它将代替手动数据收集)。第二个示例,如果您获得了非常准确的冲销,您在其中花费了时间和其他资源来获取冲销,那么您是否具有用于质量控制,工业测量等甚至技术的足够设备。如果您的结果是徒劳的,那么花费的时间就是错的。


0

您是否需要一厘米分辨率的卫星图像,以便通过颜色识别森林?一定不。我将是有害的,因为您必须决定任何非绿色的10平方厘米的补丁。建模相同:细节分辨率应适合目标特征的分辨率。如果没有,您将失去精简的时间。


0

人为的约束(不考虑计算能力和计算时间)排除了大多数实际答案。一个需要花费数小时或数天才能评估的模型不允许进行快速的设计迭代,并且会以人为规模放慢速度,增加成本,并可能导致结果不佳。巧妙地简化模型而不损失太多准确性可能是一种非常有用的方法,然后可以使用蛮力模型来验证最终迭代。

过于复杂的模型可能掩盖了模型中的基本错误,或者收集信息以最大限度地实际使用模型所需的工作将超过任何潜在的好处。例如,如果您需要比供应商可以控制的更高的精度来了解材料的特性,则可以接受误差带,也可以去测试每一批材料以调整模型。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.