如何评估适应功能的优劣


9

尽管我对分类和回归有一定的了解,但我还是生存分析的新手。

对于回归,我们具有MSE和R平方统计量。但是,除了某种图形化的图(KM曲线),我们如何说生存模型A优于生存模型B?

如果可能的话,请举例说明差异(例如R中的rpart包)。您如何证明一棵CART生存树比另一棵CART生存树好?可以使用哪些指标?


3
有各种各样的类型的生存分析。其中一些确实基于回归。其中有些像KM,可能更容易被认为是与生存有关的统计数据的估计量。
Alexis 2014年

感谢您为改善问题所做的不懈努力。我怀疑它现在可以回答/适合简历。我已提名它重新开放。我们将看看其他人是否同意。如果您可以发布两个CART类型的生存模型供人们用来解释这些问题,则可能会有所帮助。
gung-恢复莫妮卡

1
Ben,所以基本上,您是说在Cox比例风险回归中,没有(到目前为止)评估拟合优度的好方法吗?R-Square无法获得正确的结果,因为它无法正确处理审查的观察结果和未经审查的观察结果?您是在谈论Harrells c,我是否正确理解该方法不适用于Cox-PH回归?
Kosta S.

Answers:


9

像Cox模型这样的统计数据存在的主要问题 [R2(在另一个答案中描述)是它非常依赖于数据的审查分布。您可能要看的其他自然事物(例如与零模型的似然比)也存在此问题。(这主要是因为受检查的数据点对可能性的贡献与观察事件的数据点的贡献有很大不同,因为其中一个来自PDF,另一个来自CDF。)建议的方法来解决此问题,但是我所见过的方法通常要求您建立审查制度分布模型或其他不切实际的方法。我还没有研究这种依赖性在实践中有多严重,因此,如果您的审查工作比较温和,那么您仍然可以研究基于似然比的统计数据。对于生存CART模型,

对于通用生存模型,经常使用的统计数据是Harrell的c指数,它是Kendall的类似物。τ或生存模型的ROC AUC。本质上,在您知道一个实例晚于另一个实例发生事件的所有实例中,c是模型正确排序的比例。(换句话说,对于此处要包含在分母中的一对实例,最多可以对一个实例进行审查,并且必须在另一个实例经历事件后才对其进行审查。)c索引还取决于审查制度的分布,但是根据哈雷尔的说法,这种依赖性比我上面提到的其他统计数据要温和。不幸的是,哈勒尔的Ç还不如上述统计数据敏感,因此,如果它们之间的差异很小,您可能不想在基于模型的模型之间进行选择;与比较不同模型的方法相比,它作为一般性能的可解释指标更有用。

(最后,当然,如果您对模型有特定的目标,也就是说,如果您知道预测损失函数是什么,那么您始终可以根据损失函数对它们进行评估!但是我猜您在不太幸运...)

要对似然比统计数据和Harrell's c进行更深入的讨论,您应该查看Harrell出色的教科书《回归建模策略》。有关评估生存模型的部分为§19.10,第492-493页。很抱歉,我无法给您一个确定的答案,但是我认为这不是一个可以解决的问题!


5

在许多方面,可以将生存数据的Cox比例风险回归视为与标准回归相对应。例如,Cox回归还提供了残留标准误差和R平方统计量。请参见coxphR survival包中的函数。(您可以将KM曲线认为是与标准统计数据中的非参数分析相对应。如何将非参数检验合并到CART中?)在临床数据的实践中,残留标准误差往往较高而R平方值较低在Cox回归中。

因此,标准回归和Cox回归具有相似的要求和局限性。您必须验证数据是否符合基本假设,在Cox分析中,该假设还包括假设要比较的危害随时间成比例。您仍然必须避免过度拟合,并且必须验证模型。而且据我了解,尽管我自己并不使用CART,但您仍然会面临比较非嵌套模型所带来的困难。


感谢您回答Cox回归与回归之间的区别和关系。但是我确实想知道如何比较两个rpart(CART)决策树生存模型。
2014年

链接到projecteuclid.org/euclid.ssu/1315833185的开放获取论文是对rpartR以及其他R包和代码的构建和选择生存树的方法的最新回顾和比较。
EdM 2014年

感谢您拨出论文。我现在就读这篇论文。
2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.