在不采用信号检测理论衍生指标的情况下分析信号检测数据是否有效?


14

信号检测实验通常向观察者(或诊断系统)呈现信号或非信号,并且要求观察者报告他们是否认为所呈现的物品是信号还是非信号。此类实验产生的数据填充2x2矩阵: 替代文字

信号检测理论表示这样的数据,即表示“信号/非信号”决策基于信号连续性的场景,在这种情况下,信号试验通常比非信号试验具有更高的价值,观察者只需选择一个标准值,高于该值他们将报告“信号”:

替代文字

在上图中,绿色和红色分布分别代表“信号”分布和“非信号”分布,而灰线则代表给定观察者选择的标准。在灰线的右侧,绿色曲线下方的区域表示命中,红色曲线下方的区域表示误报警。在灰线的左侧,绿色曲线下方的区域表示未命中,红色曲线下方的区域表示正确的拒绝。

可以想象,根据此模型,落入上面2x2表的每个单元格中的响应比例由以下方式确定:

  1. 从绿色和红色分布中采样的试验的相对比例(基本比率)
  2. 观察者选择的标准
  3. 分布之间的分离
  4. 每个分布的方差
  5. 分布之间的方差相等有任何偏离(上面描述了方差相等)
  6. 每个分布的形状(以上均为高斯分布)

通常,只能通过让观察者在多个不同的标准级别上做出决策来评估#5和#6的影响,因此我们暂时将其忽略。另外,#3和#4仅相对于彼此有意义(例如,相对于分布的可变性而言,间隔有多大?),通过“可区分性”(也称为d')的度量来概括。因此,信号检测理论禁止根据信号检测数据评估两个属性:标准和可辨别性。

但是,我经常注意到,研究报告(尤其是医学领域的报告)未能应用信号检测框架,而是尝试分析诸如“正预测值”,“负预测值”,“灵敏度”和“特异性”之类的量。 ”,它们都代表与上面2x2表不同的边际值(有关详细信息,请参见此处)。

这些边际属性提供什么效用?我倾向于完全无视它们,因为它们混淆了标准和可辨别性的理论上独立的影响,但我可能只是缺乏想象力来考虑它们的好处。


您如何估算标准?一个医师诊断例如慢性疲劳综合症的标准可能与另一医师的诊断标准大相径庭,但我看不出这是您可以估计的事情。
一站式

与该问题无关,仅是文本上的一些简单问题:):您将如何定义“分布之间的分离”,以及分布方差的增加值是多少?如果分布不是高斯怎么办?您听说过总变化距离吗?
罗宾吉拉德

Answers:


3

积极预测影响力(PPV)并不是一个很好的衡量标准,不仅因为它混淆了两种机制(可辨别性和响应偏差),而且还因为项目基本费率。最好使用后验概率,例如P(signal |“ yes”),该后验概率说明项目基本费率:

Ps一世Gñ一种|ÿËs=Ps一世Gñ一种PH一世ŤPs一世Gñ一种PH一世Ť+PñØ一世sËPF一种sË一种一种[R

但是...这有什么好处?很好,对于调整响应标准以最大化/最小化特定结果的可能性很有用。因此,从某种意义上说,它是对敏感性和反应偏倚措施的补充,有助于总结反应偏倚变化的结果。

一个建议:如果您坚持使用2x2结果矩阵,而该矩阵基本上只允许您获得d'之类的灵敏度指标,那么甚至不用理会SDT,而只需使用误判报警。量度(d'和(HF))的相关系数均为0.96(无论BS检测理论家可能会想到什么)

希望这有助于加油


您打算使用哪种类型的扩展结果指标(而不是2x2结果矩阵)?并且您能否提供有关d'与命中率-虚警率之间的相关性的最后声明的来源?
Speldosa 2012年

2

您正在比较“在已知患病率和检测标准的情况下,阳性检测结果正确的可能性是多少?” 与“未知系统对该类型的各种信号的灵敏度和偏差是多少?”

在我看来,两者都使用了相似的理论,但实际上它们的目的却截然不同。与医学检验标准无关。在许多情况下,可以将其设置为已知值。因此,之后确定测试标准是没有意义的。信号检测理论最适用于标准未知的系统。此外,患病率或信号往往是固定值(通常很小)。使用SDT,您经常会在变化的信号上求出均值d',从而将非常复杂的情况建模为几个简单的描述符。当标准和信号都是固定的已知量时,SDT可以告诉您一些有趣的事情吗?处理一个从根本上来说更简单的问题似乎需要很多数学技巧。


2

这可能是过分简化,但是特异性和敏感性是性能的量度,并且在没有关于信号性质的任何客观知识时使用。我的意思是您的密度与信号强度图假定一个变量来量化信号强度。对于非常高维或无限维的数据,并且如果没有严格的,可证明的信号生成机理的理论,则变量的选择是很简单的。随之产生的问题是,为什么在选择了这样一个变量之后,其统计属性(如信号和非信号的均值和方差)没有被量化。在许多情况下,变量可能不只是正态,泊松或指数分布。它甚至可能是非参数的,在这种情况下,将分离量化为均值差与方差等,没有多大意义。此外,生物医学领域的许多文献都集中在应用上,ROC,特异性-敏感性等可以作为比较问题的有限性质的方法的客观标准,基本上就是这些是必须的。有时候,人们可能对描述患病与对照对象中的基因1与基因2转录本丰度之比的实际离散版本对数伽马分布不感兴趣,而唯一重要的是,这是否升高,以及遗传变异有多大表型或疾病的可能性。可以用作客观标准来比较问题的有限性质上的方法,基本上这就是所需要的。有时候,人们可能对描述患病与对照对象中的基因1与基因2转录本丰度之比的实际离散版本对数伽马分布不感兴趣,而唯一重要的是,这是否升高,以及遗传变异有多大表型或疾病的可能性。可以用作客观标准来比较问题的有限性质上的方法,基本上这就是所需要的。有时候,人们可能对描述患病与对照对象中的基因1与基因2转录本丰度之比的实际离散版本对数伽马分布不感兴趣,而唯一重要的是,这是否升高,以及遗传变异有多大表型或疾病的可能性。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.