最小回归的最小样本量的经验法则

72

在社会科学领域的一项研究计划中，有人问我以下问题：

在确定多元回归的最小样本量时，我总是走100 + m（其中m是预测变量的数量）。这样合适吗

我经常遇到很多类似的问题，通常有不同的经验法则。我也在各种教科书中读了很多这样的经验法则。有时我想知道规则在引用方面的普及是否基于该标准的设定低。但是，我也意识到良好启发式方法在简化决策过程中的价值。

问题：

在设计研究的应用研究人员的背景下，简单的经验法则对于最小样本量有什么用？
您是否会建议使用另一条经验法则来确定多元回归的最小样本量？
或者，您将建议采用哪些替代策略来确定多元回归的最小样本量？特别是，如果将值分配给非统计人员可以轻松应用任何策略的程度，那将是很好的。

— 杰罗米·安格利姆
source

36

我不喜欢用于生成最小样本量的简单公式。至少，任何公式都应考虑效应大小和感兴趣的问题。截止的任一侧之间的差异最小。

样本量作为优化问题

样本越大越好。
样本量通常由务实的考虑因素决定。
样本量应被视为优化问题的一个考虑因素，在该问题中，权衡获得额外参与者的时间，金钱，精力等方面的成本与拥有额外参与者的好处之间的权衡。

粗略的经验法则

在观察性心理学研究的典型上下文中，根据非常粗略的经验法则，涉及到能力测试，态度量表，人格测验等，我有时会想到：

n = 100足够
n = 200一样好
n = 400 +一样好

这些经验法则以与这些相应级别的相关性相关的95％置信区间以及我想从理论上理解兴趣关系的精确度为基础。但是，这只是一种启发。

G力量3

我通常使用G-Power 3根据各种假设计算功率，请参阅我的文章。
请参阅G Power 3网站上针对多元回归的本教程
该电源底漆也是适用的研究人员的有用工具。

多元回归检验多种假设

任何功效分析问题都需要考虑效应大小。
由于存在多重影响，包括总体r平方和每个系数一个，这一事实使得用于多元回归的功效分析变得更加复杂。此外，大多数研究都包括多个回归。对我来说，这是进一步依赖一般启发式算法并考虑要检测的最小效应量的进一步原因。
关于多元回归，我经常会在估计底层相关矩阵的精确度方面考虑更多。

参数估计的准确性

我也喜欢Ken Kelley及其同事对参数估计精度的讨论。

请参阅Ken Kelley的网站以获取出版物
正如@Dmitrij所提到的那样，Kelley和Maxwell（2003）免费提供了一篇有用的文章。
肯·凯利（Ken Kelley）MBESS在R中开发了该软件包，以执行将样本大小与参数估计精度相关的分析。

— 杰罗米·安格利姆
source

17

$n$ $R^2$ $R^2$ $R_{adj}^{2}$ $R^2$ $1 - (1 - R^{2})\frac{n-1}{n-p-1}$ $R^2$

一些R代码里面可以用于求解的因子的是应该是这样的只是一个因子小于或仅仅是由较小。 $p$ $n-1$ $R_{adj}^{2}$ $k$ $R^2$ $k$

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

在此处输入图片说明图例：中的降级，通过指定的相对因子（左图，3个因子）或绝对差（右图，从到的相对下降）， 6个减量）。 $R^{2}$ $R^{2}$ $R^{2}_{adj}$

如果有人看过此内容，请告诉我。

— 弗兰克·哈雷尔
source

1

+1。我怀疑我缺少了一些基本的和显而易见的东西，但是为什么我们应该使用的能力来估计作为准则？即使为低，我们也已经可以访问。有没有一种方法可以解释为什么这是考虑最小的适当的正确方法，因为它使更好地估计了？

{\hat{R}}^{2}

$\hat R^2$

R^{2}

$R^2$

R_{a d j}^{2}

$R^2_{adj}$

N

$N$

N

$N$

{\hat{R}}^{2}

$\hat R^2$

R^{2}

$R^2$

— gung

@FrankHarrell：看起来这里的作者似乎在使用260-263地块，与上面帖子中的地块大致相同。

— user603 2013年

5

感谢您的参考。@gung这是一个好问题。一个（较弱的）答案是，在某些类型的模型中，我们没有，并且如果完成任何变量选择，我们也没有调整后的索引。但是主要思想是，如果是无偏的，则由于样本量的适当性和最小的过度拟合，其他预测性歧视指标（如秩相关度量）也可能无偏。

R_{a d j}^{2}

$R^{2}_{adj}$

R^{2}

$R^2$

— Frank Harrell

12

（+1）在我看来确实是一个至关重要的问题。

在宏观计量经济学中，您通常比微型，金融或社会学实验中的样本量小得多。研究人员在进行研究时可以提供至少可行的估计，感觉很好。我个人的最小经验法则是（在一个估计的参数上为个自由度）。在其他应用研究领域中，您通常会更幸运地使用数据（如果价格不太昂贵，只需收集更多数据点），并且您可能会问样本的最佳大小是多少（不只是样本的最小值）。后一个问题来自以下事实：更多的低质量（噪声）数据并不比较小的高质量数据更好。 $4\cdot m$ $4$

拟合多元回归模型后，大多数样本量都与要检验的假设的检验能力有关。

有一个不错的计算器，可能对多重回归模型和幕后公式很有用。我认为这样的定价计算器很容易被非统计学家应用。

也许K.Kelley和SEMaxwell的文章可能对回答其他问题有用，但是我首先需要更多时间来研究这个问题。

— 德米特里·塞洛夫（Dmitrij Celov）
source

11

$m$ $m=500$ $500$ $600$

$m$ $m+1$ $n-m-1$ $m+1$ $n$ $O\left(\frac{m+1}{n}\right)$ $n=k(m+1)$ $k$ $O\left(\frac{1}{k}\right)$ $k$ $k$ $10-20$ $30\equiv\infty$ $1,2,\dots,26,27,28,29,\infty$

— 概率逻辑
source

您说10到20很好，但这是否还取决于误差方差的大小（可能相对于其他因素而言）？例如，假设只有一个预测变量。如果知道误差方差确实很小，那么似乎3或4个数据点就足以可靠地估计斜率和截距。另一方面，如果知道误差方差很大，那么即使50个数据点也可能不足。我误会了吗？

— mark999 2011年

您能为您建议的方程式提供任何参考n=k(m+1)吗？

— Sosi

6

在心理学上：

$N > 50 + 8m$ $N > 104 + m$

可以使用的其他规则是...

$50$

$10$ $30$

— 阿德里亚
source

1

您的第一个“规则”中没有m。

— 戴森2014年

他的拇指的第一条规则写成N = 50 + 8 m，尽管有人质疑术语50是否确实需要

— Sosi

我添加了一个新的且更复杂的经验法则，其中考虑了样本的影响大小。Green（1991）也提出了这一点。

— Sosi

2

参考文献Green（1991）和Harris（1985）的全部引文是什么？

— Hatshepsut，2015年

2

我同意功率计算器很有用，特别是要了解不同因素对功率的影响。从这个意义上讲，包含更多输入信息的计算器要好得多。对于线性回归，我喜欢这里的回归计算器，其中包括诸如Xs的误差，Xs之间的相关性等因素。

— 加利特·斯穆利（Galit Shmueli）
source

0

$R^2$

（pdf）

当然，正如该论文还承认的那样，（相对）无偏见并不一定意味着具有足够的统计能力。但是，功效和样本数量的计算通常是通过指定预期效果来进行的。在多元回归的情况下，这意味着必须对回归系数的值或回归变量与结果之间的相关矩阵进行假设。实际上，这取决于回归变量与结果以及它们之间的相关性的强度（显然，与结果相关性越强越好，而多重共线性会使情况变得更糟）。例如，在两个完全共线的变量的极端情况下，无论观察数如何，甚至只有两个协变量，都无法执行回归。

— 费德里科·特德斯基
source