测试比例和二进制分类器

我有一台生产零件的原型机。

在第一次测试中，该机器生产了零件，并且一个二进制分类器告诉我零件有缺陷（，通常且），而零件是好的。d 1 d 1 < Ñ 1 d 1 / Ñ 1 < 0.01 Ñ 1 ≈ 10 4 Ñ 1 - d $N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

然后，技术人员对机器进行一些更改，以减少缺陷零件的数量。

在第二次和随后的测试中，修改后的机器生成零件，并且相同的二进制分类器（未触及）告诉我零件有缺陷，无论如何与非常相似。d 2 d 2 / N 2 d 1 / N $N_2$$d_2$$d_2/N_2$$d_1/N_1$

技术人员想知道他的更改是否有效。

假设分类器是完美的（灵敏度为100％，特异性为100％），则可以对比例进行测试（使用R，我只输入prop.test(c(d1,d2),c(N1,N2))）。

但是分类器不是完美的，那么我如何考虑分类器的敏感性和特异性（都是未知的），以便正确地回答技术人员的问题？

因此，我是从第一条原则得出的，因此不确定它是正确的。这是我的想法：

编辑：这不太正确。我已经更新了。

1. 让我们用表示真实正数的实际数量与二进制分类器输出的数量之间的期望差，我们将其称为。您可以通过在具有已知标签的集合上运行分类器来进行测量。从分类器产生的正数中减去实际正数，然后除以得出。d 1 ^ d 1 Ñ $\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. 因此，缺陷零件的实际比率的点估计值由下式给出： 。即，观察到的缺陷零件数量减去预期的误报数量加上预期的误报数量。$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. 同样，$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. 所以，现在让我们进行道具测试。在标准道具测试中，我们首先计算用作空值的合并比率：。因此，在这里，我们将和的点估计值输入： ^ d $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ ^d$\hat{\frac{d_1}{N_1}}$ p=d1+d2+α∗（N1+N2$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. 然后，标准错误常见：$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. 并且测试统计量是相同的：$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

关于解释的一些想法：

• 该模型可以产生标准误差的虚数值。当时会发生这种情况，当我们期望分类器产生的错误数超过观察到的数时便会出现这种情况。例如，假设即使给定不包含阳性的样本，我们也希望分类器平均产生5个阳性。如果我们观察到4个正值，则好像没有信号：我们的结果与分类器产生的噪声没有区别。我认为，在这种情况下，我们不应该拒绝原假设。$p < 0$

• 考虑这一点的另一种方法是，如果缺陷零件的数量在分类器的误差范围内，那么我们当然无法分辨出是否存在差异：我们甚至无法分辨出任何零件是否存在缺陷！

在的估计中合并错误：$\alpha$

• 我对此进行了更多考虑，并且我认为您可以通过多种方法来实现此目的，但实际上您希望对的分布进行估算。理想情况下，您将重复进行此过程，以便在打算使用此方法的数据集的代表性样本上获得的估计值。如果无法做到这一点，则可以通过从单个数据集中提取样本来引导到单个数据集，尽管除非您的单个数据集能够代表您关注的所有数据集，否则这并不理想。$\alpha$$\alpha$

假设我们要计算置信度为的置信区间。$h$

• 使用自举分布，根据经验计算的置信区间。将每个端点插入上述过程，将其用作（非常保守或非常宽松）的点估计，并使用prop检验找到置信区间，以估计比例差异。假设我们获得间隔（和作为的较低和较高值的间隔。然后间隔（包含两个较早的间隔）应该是比例差异的（1-h）* 100％CI ...我认为... αα$\frac{h}{2}$$\alpha$$\alpha$升ø瓦特升，升ö瓦特- [R ）（H ^我克ħ升，ħ我克ħ- [R ）α（ħ我克ħ升，升ö瓦特- [R $\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

注意：在上面，我假设进行了1面测试。将h除以2可以说明您正在测试两个独立的假设的事实（在您认为的区间中，而测试统计量则是一个显着的差异）。如果要进行两尾测试，请除以4。$\alpha$