主题测试后的特设课程？

20

在主题测试中进行事后调查的首选方法是什么？我已经看过使用Tukey的HSD的已发表工作，但是对Keppel和Maxwell＆Delaney的评论表明，这些设计中可能会违反球形性，因此误差项不正确，并且这种方法存在问题。Maxwell＆Delaney在他们的书中提供了解决该问题的方法，但我从未在任何统计数据包中看到过这样做的方法。他们提供的方法合适吗？对多个配对样本t检验进行Bonferroni或Sidak校正是否合理？可接受的答案将提供通用的R代码，该代码可以对包装中的ezANOVA功能所产生的简单，多路和混合设计进行事后分析ez，并提供适当的引文，可能会引起审阅者的注意。

— 拉塞尔皮尔斯
source

1

David Howell的这篇文章解释了问题和几种解决方案。

— 哈维·莫图尔斯基

当您使用multcomp软件包接受了答案时，能否详细说明一下最终使用multcomp的方式。您是否使用它用lme或lmer功能或一些更传统的方法如t检验或方差分析（因为我目前正在与方差分析使用它）。

— 亨里克

我接受了multcomp答案，主要是因为我对社区选择的“正确”答案的p值调整技术完全不满意。我看了一眼，它看起来很有希望，但是我没有进一步调查。我想了解更多有关您正在尝试什么和正在发现什么的信息。

— russellpierce

我找到了一种使用来指定重复测量方差分析的方法lme，请参见已接受答案的注释：stats.stackexchange.com/q/14088/442使用类对象lme可以multcomp用于对象内效果。它提供了不同类型的alpha误差调整，但大多数都是您特别不喜欢的调整（如我所建议的那样，被社区投票为“正确”）。除了小插图，还有一本书multcomp介绍了所有方法。如果您希望事后没有调整，请使用fit.contrastfrom gmodel或新contrast软件包。

— 亨里克

您仍然对该ezANOVA功能的解决方案感兴趣吗？如果是这样，我想我可以回答Q，但是A将依赖于测试球面度是关键假设的单变量模型。如果您不需要将A约束到ez包的ANOVA计算中，则可以给A提供一个使用多元模型进行事后测试的A。

— statmerkur

7

看看通用参数模型 multcomp- package及其小插图同时推断。我认为它应该做应该做的事情，并且该小插图有很好的例子和广泛的参考。

— 马蒂·帕斯特（Matti Pastell）
source

21

我目前正在写一篇论文，我很高兴在主题之间进行比较。在与主管讨论之后，我们决定进行t检验，并使用非常简单的Holm-Bonferroni method（Wikipedia）来校正alpha错误累积。它控制家族错误率，但比普通的Bonferroni过程具有更大的功效。程序：

您对要进行的所有比较运行t-检验。
您可以根据它们的值对p值进行排序。
您针对alpha / k测试最小的p值，针对alpha /（ k -1），依此类推，直到在此测试序列中第一个测试结果不重要为止。

可以通过Wikipedia上的链接下载Cite Holm（1979）。

— 亨里克
source

1

也许在多次测试之前进行方差分析？

— 斯坦

2

我认为答案暗示了这一点。您需要在显着的方差分析之后执行事后测试。

— 亨里克

2

@Henrik：我希望我不会在这里打败一匹死马……通过在旧帖子上发帖。因此，我对您进行t检验的方式有疑问。您是否使用了合并方差（来自ANOVA），还是只是进行了独立的成对t检验？我之所以这样问，是因为我试图使用pairwise.t.test()Bonferroni方法或Holm-Bonf方法进行成对比较，但是根据我使用池化sd还是将每个比较作为单独的独立t进行比较，结果差异很大。 -测试。谢谢！

— 亚历克斯

2

@Alex：使用“受保护”方法，其中仅在显着的方差分析之后执行t检验，这意味着要使用合并误差项。但是，由于这不是统计软件经常提供的选项，因此人们倾向于不这样做。此外，在某种程度上违反球形性是一件值得怀疑的事情。

— russellpierce

5

我回想起过去对此的讨论；我不知道Maxwell＆Delaney方法的任何实现方式，尽管这样做并不难。看看“ 使用R的重复测量ANOVA ”，它也显示了解决Tukey HSD中球形性问题的一种方法。

您可能还会发现弗里德曼兴趣测验的这种描述。

— 尚恩
source

谢谢，我认为弗里德曼测试很有趣，但是我无法弄清楚它是如何对事后I类错误进行调整的。评论说这是“ Wilcoxon-Nemenyi-McDonald-Thompson测试”，但我之前从未听说过，您能解释一下吗？

— russellpierce

@Shane第一个链接已死:-(

— Adam Ryczkowski

2

SPSS中的推论性F检验有两个选项。多变量不假设球形，因此对每对变量都使用不同的成对相关性。包括任何事后测试在内的“受试者内部效应测试”均采用球形，并针对在所有测试中使用通用相关性进行了一些更正。这些过程是计算昂贵的时代的遗留，并且浪费了现代计算设施的时间。

我的建议是采取综合MULTIFARIATE F进行任何重复测量。然后进行事后成对t检验，或者如果各主题因素之间也存在比较，则在每次重复测量比较中只有2个水平的ANOVA。我将进行简单的bon ferroni校正，即将alpha等级除以测试次数。

另外，请务必查看效果大小[在选项对话框中可用]。“接近”重要的大效应可能比小的但重要的效应更值得关注[和未来的实验]。

在SPSS过程MIXED中，以及在用户友好程度较低但免费的程序包（例如R）中，可以使用更复杂的方法。

总结，在SPSSS中，多元F后跟成对事后，Bon Ferroni和Bonferroni应该足以满足大多数需求。

0

我将使用R函数qtukey（1-alpha，means，df）来制作家庭式CI。

例如，R函数qtukey（1-0.05，nmeans = 4，df = 16）给出了临界值 $tukey_{0.05,4,16}$ = 4.046093。

给定对象间设计，其中k = 4组，则5 * k = 20个样本大小，例如（5-1）* k = 16 df $MS_{Error}$ ， $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

The radius of family-wise 1-α CIs is $S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

Given a within-subject design with k=4 levels, 17 sample size e.g. (17-1)=16 df for $MS_{Error}$ , and ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ , the radius of family-wise (1-α) CIs is $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
source