d素数具有100%的命中率概率和0%的虚警率


10

我想为涉及检测新旧项目的存储任务计算d素数。我的问题是某些受试者的命中率为1和/或错误警报率为0,这使概率分别为100%和0%。

对于式d素d' = z(H) - z(F),在这里z(H)z(F)分别命中率和假警报,的Z转换。

为了计算z变换,我使用Excel函数NORMSINV(即z(H)=NORMSINV(hit rate))。但是,如果命中率或误报警率分别为1或0,该函数将返回错误。据我了解,这是因为z变换指示ROC曲线下的面积,在数学上不允许100%或0%的概率。在这种情况下,我不确定如何为具有天花板表现的拍摄对象计算d'。

一个网站建议用1-1 /(2N)和1 / 2N替换1和0比率,其中N为最大点击和错误警报数。另一个网站说“ H或F都不可以是0或1(如果是,请向上或向下稍微调整一下”)。这似乎是任意的。是否有人对此有意见或想向我指出正确的资源?

Answers:


13

Stanislaw&Todorov(1999)在“ 零或一的命中率和虚警率 ”标题下对此进行了很好的讨论。

他们讨论了处理这些极端值的几种方法的利弊,包括:

  • Ad

  • 在计算统计数据之前汇总来自多个主题的数据(Macmillan&Kaplan,1985)

  • 命中次数和误报次数均加0.5,信号试验次数和噪声试验次数均加1;被称为对数线性方法(Hautus,1995)

  • 0.5/n(n0.5)/nn

Ad


MacMillan&Kaplan是一个受欢迎的参考书,但我相信有希腊或俄罗斯作家在此之前接受过同样的建议……这个名字太长了,我不记得了。我对S&T的快速了解是,它不是很全面,但是确实提醒我,我可能会误以为没有提到A'。当然,一旦这样做,您必须解释一下切换到非参数化的真正含义。
约翰

6

两个站点都在暗示着同一件事,但是一个站点正在提出一种始终如一地选择调整量的方法。这归因于许多人,但我认为没有人知道谁是最先提出的。不同领域在信号检测方面有不同的开创性书籍或作者。重要的是您选择的方法是合理的。

通常采用一种发布方法来暗示,如果您拥有一组更大的项目(2N),那么您将至少能够检测到一个错误。如果这是考虑问题的合理方法,那么您就完成了。我怀疑这是用于内存测试。将来,您可能需要提高N以确保这种情况发生的可能性大大降低。但是,如果您以其他方式考虑,则该方法是可挽救的。您正在对相同数量的内存项的两次运行的假设平均值进行调整。在这种情况下,您是说在另一轮实验中(假设有新商品,或者他们忘记了所有旧商品),就会出现错误。或者,更简单地说,您只是在可以衡量的最高不完美分数和完美分数之间选择一半。

这是没有简单通用解决方案的问题。您需要问的第一个问题是,您是否认为自己拥有真正的完美分类。在这种情况下,您的数据就是您的数据。如果不是,那么您认为这只是样本中的变异,导致命中率为100%。一旦得出结论,那就必须考虑合理的方法来估算您的预期目标。因此,您必须问自己到底是什么。

确定d'的最简单方法是查看相同条件下的其他数据。您也许可以估计此参与者的准确性介于您拥有的下一个最佳值和100%(可能与您发现的值完全相同)之间的一半。或者,可能会大一些。或者它可能等于最佳值。您必须根据数据选择您认为最佳的答案。张贴的更具体的问题可能会对您有所帮助。

您应该尝试确保所做的事情对标准的影响尽可能小。在您的情况下,对点击数和FA的调整将导致标准完全不改变。但是,如果您在说FAs = 0.2时调整匹配,那么您必须小心该调整将如何影响标准的解释。在这种情况下,您有义务确保点击率很高。


约翰,谢谢您的看法和依据。那真的有帮助。我应该补充说,增加N的数量是一个很好的解决方案,但是我们的任务是在fMRI扫描仪内部完成的,并且我们受到受试对象在变得烦躁不安并动摇数据之前所做的多次试验的限制。
A.Rainer 2015年

“您可以估计此参与者的准确性介于您拥有的下一个最佳值和100%(可能与您发现的值完全相同)之间的一半之间”。这将保留主题表演排名的顺序。
A.Rainer
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.