在对学生论文进行评分时，如何使用这些数据校准具有不同慷慨程度的标记？

12名老师在教600名学生。这些老师教的12个群组的规模从40至90名学生不等，我们预计这两个群组之间会有系统的差异，因为研究生被分配给特定群组的比例不成比例，并且以往的经验表明，研究生的平均得分大大高于本科生。

老师对他们队列中的所有论文进行了评分，并给他们满分100分。

每位教师还查看了其他三位教师随机选择的一篇论文，并在100分中给了满分。每位教师的三篇论文都被另一位老师标记。因此，已经用这种方式对36篇不同的论文进行了标记，我称之为校准数据。

我还可以看到每个队列中有多少名研究生。

我的问题是：

A）如何使用此校准数据来调整原始标记，以使其更公平？特别是，我想尽可能地消除过于慷慨/多余的制造商的影响。

B）我的校准数据是否合适？在本课程中获得的校准数据的有限的36个数据点中，我别无选择，并且在本学期没有选择的余地。但是，如果这种情况再次发生，我也许能够收集更多的校准数据，或者收集不同类型的校准数据。

这个问题与我问过的一个普遍问题有关： 我如何在对学生论文进行评分时最好地应对慷慨程度不同的标记的影响？。但是，这是另一回事，我不确定阅读该问题作为当前背景的有用之处，因为主要问题是我没有校准数据。

听起来这是使用矩阵分解推荐系统的绝佳机会。简而言之，它的工作方式如下：

• $M$$M_{ij}$$i$$j$

• $\vec t$$\vec s$$M_{ij} = t_i s_j$

• $\sum_{i,j} (t_is_j - M_{ij})^2$$M$

• $\vec t$$\vec s$$\vec s$$\vec t$

$M_{ij} = \sum_{k=1}^n s_{ik} t_{kj}$ 并再次尝试最小化平方误差。

编辑：为了有一个明确的问题，您需要比潜在参数进行更多的矩阵运算（或者您可以使用某种正则化）。您在这里几乎没有（您有636个观测值和612个潜在参数），因此矩阵分解可能无法很好地工作-我还没有在如此小的样本上使用它们，所以我真的不知道。

如果校准结果不足以使用好的推荐模型，则可以尝试进行多级回归Score ~ IsGradStudent + <whatever other student covariates you have> + (1|Teacher)（忽略校准数据）以提取附加教师偏差的估计，然后检查该偏差是否与您所用的校准数据一致拿。（如果可能，您应该允许教师进行异方差分析。）这是临时的，但可能会给您带来不太严重的数据收集问题。

这里有一些相关的方法。

拿一组由多于一位老师标记的论文，因为这些论文包含了有关教师效果的最多信息，而在这些论文之外，老师和同龄人的效果就被弄混了（如果有某种方法可以达到同龄人的效果，也许是通过GPA或其他某种预测变量，那么您可以使用所有数据，但是会使模型复杂化很多）。

$i=1,2, ... n$$j=1, 2, ...,m$$y_{ij}, i=1,2, ... m$

首先，您必须考虑模型中标记效果的应用方式。它是添加剂吗？它是乘法的吗？您是否需要担心边界效应（例如，对数刻度的加法或乘法效应会更好）？

$p_{ij}=m_{ij}/100$$p$$\log(p_{ij}/(1-p_{ij})$

（您这里没有足够的数据来估计慷慨形式的大小及其大小。您必须从对情况的了解中选择一个模型。您还需要忽略任何可能的互动；您不会有它的数据）

可能性1-普通加性模型。如果没有标记真的接近于0或100，这可能是合适的：

$E(y_{ij}) = \mu_{i}+\tau_j$

这本质上是双向ANOVA。您需要对此进行约束，因此您可以设置偏差编码/建立模型，以使标记效果为0，或者可以建立一个模型，其中一个标记为基线（其效果为0，并且其标记为会尝试将所有其他标记向调整）。

$\hat{\tau}_j$$y_{kj}^\text{adj}=y_{kj}-\hat{\tau}_j$

$E(y_{ij}) = \mu_{i}\tau_j$$\tau$

$\hat{\tau_j}$

$1-p=(100-m)/100$