是否存在模型拟合统计量（例如AIC或BIC）可用于绝对比较而不是相对比较？

我对这本文献不那么熟悉，所以如果这是一个明显的问题，请原谅我。

由于AIC和BIC依赖于最大化可能性，因此似乎只能将它们用于试图拟合给定数据集的一组模型之间的相对比较。根据我的理解，在数据集1上计算模型A的AIC，在数据集2上计算模型B的AIC，然后比较两个AIC值并判断（例如），这没有任何意义。模型A适合数据集1比模型B适合数据集2。或者也许我弄错了，这是合理的做法。请告诉我。

我的问题是：是否存在可以用于绝对而非相对比较的模型拟合统计量？对于线性模型，像这样的东西会起作用。它具有定义范围，并针对什么是“良好”价值制定了特定于学科的想法。我正在寻找更一般的东西，并认为我可以先在这里联系专家。我敢肯定有人曾经考虑过这种事情，但是我不太了解在Google学术搜索上进行有效搜索的正确用语。 $R^2$

任何帮助，将不胜感激。

model-selection aic bic

— 内森·范胡德诺斯（Nathan VanHoudnos）
source

如果模型A适合数据集1，模型B适合数据集2，则没有什么可比较的：模型和数据完全不同。那么，您到底想完成什么？顺便说一句，

在这方面比没用还糟；对于某些批评，请参阅stats.stackexchange.com/questions/13314/…–

R^{2}

$R^2$

— whuber

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

在您所讨论的范围内，我唯一能想到的就是预测准确性的度量。可以比较两个模型在两个不同数据集上的质量，从而可以最好地预测这两个模型，尽管这也不完美。

— 宏

Answers:

与Macro提出的建议一致，我认为您正在寻找的术语是一种性能指标。尽管这不是评估预测能力的安全方法，但它是比较各种模型的拟合质量的非常有用的方法。

平均度量百分比误差是一个示例度量，但可以轻松找到更多度量值。

假设您使用SetA和modelA来描述一条道路上的洞数，并且使用SetB和modelB来描述一个国家的人数，那么您当然不能说一个模型比另一个模型更好，但是您可以至少看看哪个模型提供了更准确的描述。

— 丹尼斯·贾赫鲁丁（Dennis Jaheruddin）
source

我认为，有些新颖的论文恰好探索了您要寻找的东西。中川和席尔兹（2013）为称为“ R2 GLMM”的混合效应模型提供了R²统计量，以定义模型中无法解释的方差量。

有条件的R²GLMM解释为由固定和随机因素解释的方差；

边际R²GLMM表示由固定因子解释的方差。

2014年，约翰逊（Johnson）更新了公式，以考虑随机斜率模型。

幸运的是，您可以使用R中的“ MuMIn”包轻松地计算边际和条件R²GLMM（Barton，2015年）。

— 新星
source