当我们说我们有一个饱和模型时,这意味着什么?
当我们说我们有一个饱和模型时,这意味着什么?
Answers:
饱和模型是其中估计参数与数据点一样多的模型。根据定义,这将导致完美的拟合,但由于没有剩余的估计方差的数据,因此在统计上用处很小。
例如,如果您有6个数据点并将5阶多项式拟合到数据,则将具有一个饱和模型(独立变量的5个幂中的每个幂都有一个参数,常数项则有1个幂)。
饱和模型是一个参数化过高的模型,以至于它基本上只是在插值数据。在某些情况下,例如图像压缩和重建,这不一定是一件坏事,但是如果您要构建预测模型,那就很成问题了。
简而言之,饱和模型会导致极高方差的预测变量,这些变量比实际数据受到的噪声影响更大。
作为一个思想实验,假设您有一个饱和模型,数据中有噪声,然后想象对模型进行数百次拟合,每次以不同的噪声实现,然后预测一个新点。对于您的拟合和预测,您每次都可能会获得截然不同的结果(在这方面,多项式模型尤其糟糕);换句话说,拟合度和预测值的差异非常大。
相比之下,即使在不同的噪声实现下,一个不饱和的模型(如果合理构建)也会给出彼此更一致的拟合,并且预测变量的方差也会减少。
正如其他人之前所说,这意味着您拥有尽可能多的参数并拥有数据点。因此,没有合适性测试的好处。但这并不意味着“按定义”该模型可以完全适合任何数据点。我可以通过使用一些无法预测特定数据点的饱和模型的个人经验告诉您。这是非常罕见的,但是可能的。
另一个重要问题是饱和并不意味着无用。例如,在人类认知的数学模型中,模型参数与具有理论背景的特定认知过程相关联。如果模型已饱和,则可以通过进行仅会影响特定参数的操作进行集中实验来测试其是否足够。如果理论预测与参数估计中观察到的差异(或缺乏)相匹配,则可以说该模型有效。
一个例子:想象一个模型,它具有两组参数,一组用于认知处理,另一组用于运动反应。现在想象一下,您有两个条件的实验,一个条件是参与者的反应能力受到削弱(他们只能用一只手而不是两只手),而在另一种条件下则没有损害。如果模型有效,则两种情况下参数估计值的差异仅应针对电机响应参数发生。
另外,请注意,即使一个模型是非饱和的,它仍然可能是无法识别的,这意味着参数值的不同组合会产生相同的结果,这会损害任何模型的拟合度。
如果您想从总体上找到有关这些问题的更多信息,则可以阅读以下文章:
Bamber,D。,&van Santen,JPH(1985)。一个模型可以有多少个参数并且仍然可以测试?数学心理学杂志,29,443-473。
Bamber,D.,&van Santen,JPH(2000)。如何评估模型的可测试性和可识别性。数学心理学杂志,44,20-40。
干杯
当且仅当模型具有的参数与数据点(观测值)一样多时,模型才会饱和。换句话说,在非饱和模型中,自由度大于零。
这基本上意味着该模型是无用的,因为它没有比原始数据更简洁地描述数据(而简约地描述数据通常是使用模型的想法)。此外,饱和模型可以(但不一定)提供(无用的)完美拟合,因为它们只是对数据进行插值或迭代。
以平均值作为某些数据的模型。如果您只有一个数据点(例如5),则使用平均值(即5;请注意,平均值仅是一个数据点的饱和模型)完全没有帮助。但是,如果您已经有两个数据点(例如5和7),则使用平均值(即6)作为模型可以为您提供比原始数据更简洁的描述。