我可以使用置换测试来避免比例背景下的多重比较问题吗？

我正在评估5种不同方法预测特定二进制结果（称为“成功”和“失败”）的有效性。数据如下所示：

Method    Sample_Size    Success    Percent_Success
1         28             4          0.14  
2         19             4          0.21  
3         24             7          0.29  
4         21             13         0.61  
5         22             9          0.40 

我想对这5种方法进行测试，以评估这些方法的相对优势。换句话说，我想按照性能的顺序对方法进行排序，方法是方法1>方法2> ...方法5。为避免出现多个比较的问题，我计划按照以下几行进行置换测试：

步骤1：汇总所有数据，以使总样本量为114，共获得37次成功。

步骤2：将数据随机分为5组，相应的样本大小分别为28、19、24、21和22。

步骤3：如果从步骤2中观察到的Percent_Success顺序与我的数据顺序一致，则增加一个计数器。

步骤4：重复步骤2和3多次（例如10000）。

所需的p值=最终计数器值/ 10000。

问题：

1. 以上程序可以吗？

2. R中有什么可以让我执行上述测试的吗？

3. 任何改进或替代方法的建议都会有所帮助。

建议的过程无法回答您的问题。它仅在零假设下估算观察到的订单发生的频率。但是在这个零值下，很可能近似所有阶次，因此您的计算将得出接近1/5的值！大约为0.83％。那没有告诉我们。

一个更明显的观察结果：根据您的数据，顺序为4> 5> 3> 2>1。您对它们的相对优势的估计是0.61-0.40 = 21％，0.40-0.21 = 11％，依此类推。

现在，假设您的问题涉及比例差异中的任何差异在无差异原假设下可能由于偶然而导致的程度。您确实可以通过置换测试来评估这十个问题。但是，在每次迭代中，您需要跟踪比例相对差异的十个指标，而不是总订单的一个全局指标。${5 \choose 2} = 10$

对于您的数据，经过100,000次迭代的模拟给出了结果

$$\begin{array}{ccccc} & 5 & 4 & 3 & 2 \cr 1 & 0.02439 & 0.0003 & 0.13233 & 0.29961 \cr 2 & 0.09763 & 0.00374 & 0.29222 & \cr 3 & 0.20253 & 0.00884 & & \cr 4 & 0.08702 & & & \end{array}$$

方法4与方法1、2和3之间比例的差异不太可能是由于偶然性造成的（估计概率分别为0.03％，0.37％，0.88％），但其他差异可能是偶然的。有一些证据表明（p = 2.44％）方法1和方法5之间的差异。因此，您可以确信，关系4> 3、4> 2和4> 1中涉及的比例差异都是正的，最有可能的是5> 1。

您建议的Monte-Carlo置换测试过程将为检验所有方法的成功概率相同的原假设生成p值。但是，当相应的确切置换测试完全可行时，这里没有理由进行蒙特卡洛置换测试。那是费舍尔的精确测试（好吧，有些人将该名称保留为2x2表，在这种情况下，这是一个有条件的精确测试）。我刚刚将您的数据输入到Stata和-tabi ...，精确-给出p = .0067（作为比较，Pearson的卡方检验得出p = .0059）。我确定R中有一个等效函数，R专家很快就会添加。

如果您真的想查看排名，那么使用贝叶斯方法可能是最好的，因为它可以简单地解释为每种方法确实是最佳，次优，次优...的概率。当然，这是以要求您先验概率为代价的。等级的最大似然估计只是观察到的排序，但是据我所知，很难以一种易于理解的方式来量化频繁性框架中等级的不确定性。

我意识到我没有提到多重比较，但是我只是不知道它是如何产生的。