在多问题考试中检测作弊方式

题：

我有关于考试题的二进制数据（正确/不正确）。一些人可能事先有问题的一部分和正确答案。我不知道是谁，多少或哪个。如果没有作弊，则假设我将对项目做出正确响应的概率建模为，其中代表问题难度，是个人的潜在能力。这是一个非常简单的项目响应模型，可以使用R中ltm的rasch（）之类的函数进行估算。除了潜在变量的（其中索引个体）之外，我还可以访问单独的估算值 $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ $\hat{z}_j$ $j$ $\hat{q}_j$ 相同潜变量的变量，这些变量是从另一个不可能作弊的数据集中得出的。

目的是确定可能被欺骗的个人及其被欺骗的物品。您可能会采取哪些方法？除了原始数据之外， $\hat{\beta}_i$ ， $\hat{z}_j$ 和 $\hat{q}_j$ 都可用，尽管前两个由于作弊会有所偏差。理想情况下，解决方案将采用概率聚类/分类的形式，尽管这不是必需的。实践思想和形式方法都受到高度欢迎。

到目前为止，我已经比较了 $\hat{q}_j -\hat{z}_j$ 分数较高或较低的成对个体的问题分数的相关性（其中 $\hat{q}_j - \hat{z}_j$ 为他们被骗的可能性的粗略指标）。例如，我用对个体进行排序 $\hat{q}_j - \hat{z}_j$ ，然后绘制连续对个体的问题分数对的相关性。我也尝试绘制得分为个人，其平均相关性 $\hat{q}_j - \hat{z}_j$ 值比更大的 $n^{th}$ 的位数 $\hat{q}_j - \hat{z}_j$ ，作为的函数 $n$ 。两种方法都没有明显的模式。

更新：

我最终结合了@SheldonCooper的想法和@whuber指向我的有用的Freakonomics论文。欢迎其他想法/评论/批评。

假设 $X_{ij}$ 是人 $j$ 在问题上的二进位分数 $i$ 。估计项目响应模型

升 Ø G 一世 Ť （ P [R （ X_{一世 Ĵ} = 1个 | ž_{Ĵ} ） = β_{一世} + ž_{Ĵ} ，

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$ 其中

β_{i}

$\beta_i$ 是项目的易用性参数，

z_{j}

$z_j$ 是潜在能力变量。（可以替代更复杂的模型；我在我的应用程序中使用2PL）。正如我在原始帖子中提到的那样，我已经从单独的数据集

（不同的项目，相同的人）中估算了能力变量的

具体来说，

是来自与上述相同项目响应模型的经验贝叶斯估计。

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

观察分数的概率取决于项目的难易程度和人的能力，可以写成其中是预测的概率正确的响应，而是逆logit。然后，根据项目和人员特征，人员具有观测值的联合概率为类似地，项目具有观测值的联合概率为 $x_{ij}$

p_{一世 Ĵ} = P [R （ X_{一世 Ĵ} = X_{一世 Ĵ} | \hat{β_{一世}} ， \hat{q_{Ĵ}} ） = P_{一世 Ĵ} （ \hat{β_{一世}} ， \hat{q_{Ĵ}} ）^{X_{一世 Ĵ}} （ 1个 - P_{一世 Ĵ} （ \hat{β_{一世}} ， \hat{q_{Ĵ}} ） ）^{1个 - X_{一世 Ĵ}} ，

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

p_{Ĵ} = \prod_{一世} p_{一世 Ĵ} ，

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$ 是

值

p_{一世} = \prod_{Ĵ} p_{一世 Ĵ} 。

$p_i = \prod_j p_{ij}.$ 最低的

p_{j}

$p_j$ 是观察分数在条件上可能性最小的人-他们可能是作弊者。

p_{j}

$p_j$ 值最低的项目是有条件地可能性最小的项目-它们是可能的泄漏/共享项目。这种方法基于以下假设：模型正确无误，并且人

j

$j$ 的分数不受人和物品特征的影响。只要不因人而异，关联程度就不成问题，并且可以轻松地改进

的模型

p_{i j}

$p_{ij}$ （例如，通过添加其他人或物品特征）。

我尝试的另一步骤是，将r％的可能性最小的人（即，具有排序后的p_j值的r％的最低的人），计算他们的观察分数x_j之间的平均距离（对于r较低的人，应该将其相关联，是可能的作弊者），并将其绘制为r = 0.001，0.002，...，1.000。当r = 0.001到r = 0.025时，平均距离增加，达到最大值，然后在r = 1时，平均距离缓慢减小到最小值。这并不是我所希望的。

r clustering classification psychometrics

— 锁定
source

这是一个棘手的问题，因为您几乎没有关于作弊性质的信息。您如何将作弊者与努力学习的学生区分开？没有更多信息，您将无法。一种可能性是，学生是否可以通过互相抄袭来作弊，或者部分学生可以访问相同的答案。如果是这种情况，您可以在学生之间创建一个距离函数（距离越小，他们在相同问题上的表现就越好）并在此处查找模式。这将是更具决定性的海事组织。

— rm999

Levitt和Dubner在Freakonomics（freakonomicsmedia.com）中描述了他们的方法。

— ub

@ rm999为了澄清，作弊者可以访问相同的问题子集（例如，在考试管理之前泄露了部分答案键）。我对复制可能发生的作弊行为不感兴趣。如果不清楚，我将在周末修改我的问题。

— 2011年

@whuber谢谢，我将查找该论文（假设已出版）。我听了有声读物，但不记得他们如何识别作弊者的详细信息（我相信老师是在欺骗学生的答案）。

— 2011年

如果我还记得Freakonomics案，它涉及发现同一所学校/班级中的孩子，这些孩子与（a）与一年前相比有较大的进步，（b）对于较早的较简单问题的答案不同，以及（c）相同的顺序回答较难的问题，因此建议老师填写孩子们空白的答案。

— 亨利

Answers:

临时方法

$\beta_i$ $i$ $j$ $\beta_i + q_j$ $q_j$ 只是一个恒定的偏移量），并将其阈值限制在某个合理的位置（例如p（正确）<0.6）。这给出了一系列问题，学生不太可能正确回答。现在，您可以使用假设检验来查看是否违反了该规定，在这种情况下，学生很可能会作弊（假设您的模型当然是正确的）。一个警告是，如果这样的问题很少，那么您可能没有足够的数据来确保测试的可靠性。另外，我认为不可能确定他所欺骗的问题，因为他总是有50％的猜测机会。但是，如果您还假设许多学生可以访问（并作弊）同一组问题，则可以在学生中比较这些问题，看看哪些问题得到的回答多于偶然。

$q_j$ $\beta_i$

原则性的方法

$c_j$ $l_i$ $a_{ij}$ $j$ $i$ $c_j = 1$ $l_i = 1$ $a_{ij}$ $logit(\beta_i + q_j)$ $a_{ij}$ $c_j$ $l_i$

— 谢尔顿·库珀
source

我阅读了您答案的第一部分，并认为它很有希望。两点快速注释-这是多项选择，因此正确猜测的概率为25％或20％。您的说法是正确的，因为我们可以假设考试前漏出了一部分问题。将在星期日或星期一返回到此。

— 2011年

如果您想使用一些更复杂的方法，则可以查看项目响应理论模型。然后，您可以模拟每个问题的难度。我认为，那些难于纠正问题的学生，而那些较容易解决的问题却比那些相反的学生更容易作弊。

自从我做这种事情已经过去十多年了，但是我认为这是有希望的。有关更多详细信息，请查看心理测验书籍

— 彼得富勒姆-恢复莫妮卡
source

通常，作弊或猜测可能会直接合并到IRM中。从本质上讲，这是3-PL模型要执行的操作，因为它包含用于难易度，辨别力和猜测力的参数，该参数充当认可某物品的概率的较低渐近线。但是，事实证明，在大多数情况下，这是不现实的，并且还开发了其他专门的人员适应统计数据（在教育测试或心理评估中）。Meijer，人员适合研究：简介。APM（1996），9：3-8对异常响应模式进行了很好的评论。

— chl

@chl谢谢！我在研究生院学习了这些东西，但是那是很久以前的事-我的最后一堂课是在1996年左右。

— 彼得·弗洛姆

@chl感谢您的建议。我所讨论的模型实际上是项目响应模型（具有固定判别参数的Rasch或1PL模型）。我认为建议查看表现异常的个人是一个好的开始，但是我正在寻找一种方法，该方法可以利用欺诈者对存在欺诈行为的项目的响应中的相关性提供的附加信息。您可以想象，例如，如果我们使用您的程序来识别作弊者，那么它们在类似困难物品上的表现会很好。

— 2011年