统计和大数据

5

由于通常的共识似乎是lmer()在R中使用混合模型而不是经典的ANOVA（由于经常提到的原因，例如不平衡设计，交叉随机效应等），我想尝试一下我的数据。但是，我担心我将这种方法“卖”给我的主管（后者希望最终进行p值的经典分析）或以后再将其“出售”给审稿人。您能推荐一些使用混合模型或lmer()针对不同设计（例如重复测量）或针对领域生物学，心理学，医学的多个学科内部和学科之间设计的不同设计的发表文章的好例子吗？

27 r mixed-model repeated-measures lme4-nlme references

1

从模型中删除项后的适当剩余自由度

我正在反思有关该问题的讨论，尤其是弗兰克·哈雷尔（Frank Harrell）的评论，即简化模型（即已测试并拒绝了许多解释变量的模型）中的方差估计应使用Ye的广义自由度。哈雷尔教授指出，与最终模型（其中许多变量已被拒绝）相比，这将更接近原始“完全”模型（包含所有变量）的剩余自由度。问题1。如果我想对简化模型中的所有标准摘要和统计数据使用适当的方法（但未全面实施广义自由度），一种合理的方法是仅使用来自以下模型的剩余自由度：我的剩余方差估算中的完整模型等？问题2。如果上述情况是正确的，并且我想在中进行操作R，那么它可能像设置一样简单 finalModel$df.residual <- fullModel$df.residual 在模型拟合练习中的某个时刻，使用lm（）或类似函数创建了finalModel和fullModel。之后，诸如summary（）和confint（）之类的函数似乎可以与所需的df.residual一起使用，尽管返回的错误消息表明有人显然已经对finalModel对象进行了修改。

27 r regression model-selection regression-strategies

1

交叉验证是否可以替代验证集？

在文本分类中，我有一个约800个样本的训练集和一个约150个样本的测试集。测试仪从未使用过，一直等到最后使用。我正在使用整个800个样本训练集，并在调整和调整分类器和功能时进行10倍交叉验证。这意味着我没有单独的验证集，但是每次用完10折后，都会自动选择一个验证集。当我对所有事情都感到满意并想要进入评估的最后阶段之后，我将对全部800个样本进行分类训练。并在150个样本测试仪上进行测试。我理解交叉验证在文本分类中的这种用法正确吗？这种做法有效吗？交叉验证的另一个问题是：而不是10倍，我还尝试将其作为性能的一般指标。因为对于遗忘一事，不可能获得有关f1 /精确度/召回率的信息，所以我想知道遗忘一事的准确性与10倍的度量之间的关系是什么？任何见解将不胜感激。编辑：这是对交叉验证的很好介绍。它还参考了其他研究论文。

27 machine-learning classification cross-validation text-mining

2

零假设和替代假设是否必须详尽无遗？

我看到很多时候声称它们必须是详尽无遗的（这类书中的示例总是以这样的方式设置，以致于确实如此），另一方面，我也看到很多次书指出它们应该是排他性的（例如为和为），而没有弄清详尽的问题。只是在输入这个问题之前，我在Wikipedia页面上发现了一些更强的说法-“替代方法不必是原假设的逻辑否定”。H0H0\mathrm{H}_{0}ħ 1 μ 1 > μ 2μ1个= μ2μ1=μ2\mu_1=\mu_2H1个H1\mathrm{H}_{1}μ1个> μ2μ1>μ2\mu_1>\mu_2 有经验的人能解释一下这是真的吗，我感谢能阐明这种差异的（历史性？）原因（毕竟这些书是统计学家写的，即科学家而不是哲学家）。

27 hypothesis-testing

3

应该选择哪家医院？一个具有较高的成功率，但另一个具有较高的总体成功率

我对统计老师说的以下问题有疑问。我的问题甚至不在这种情况下发生的辛普森悖论上。我的问题仅仅是我的教授坚持认为A）和D）是正确的答案，而不是A）和F）。他说： “由于E型手术的成功率很低，我们可以得出结论，这很困难，而且不仅仅罕见。因此，与Hope相比，Mercy可能拥有更好的设备/医生。” 我不了解他如何从统计学上推断出Mercy做了“更困难的手术”。Mercy显然在E型手术中具有更高的成功率，但是为什么这意味着他们进行“更困难的手术”。我想我被这个问题的措词所困扰，而教授并没有让步。有人可以向我解释为什么我错了，或者如何向教授解释这一点吗？您所在的镇有两家名为Mercy和Hope的医院。您必须选择其中一项进行操作。您决定以他们的外科团队的成功为基础。幸运的是，根据新的医疗计划，医院会提供有关手术成功与否的数据，这些数据分为五大类。假设您获得了两家医院的以下数据： Mercy Hospital Type A B C D E All Operations 359 1836 299 2086 149 4729 Successful 292 1449 179 434 13 2366 Hope Hospital Type A B C D E All Operations 88 514 222 86 45 955 Successful 70 391 113 12 2 588 …

27 self-study confounding simpsons-paradox

3

AIC可以在不同类型的模型之间进行比较吗？

我正在使用AIC（Akaike的信息标准）来比较R中的非线性模型。比较不同类型的模型的AIC是否有效？具体来说，我正在比较glm拟合的模型与glmer（lme4）拟合的带有随机效应项的模型。如果没有，有没有办法进行这种比较？还是这个想法完全无效？

27 lme4-nlme model-selection aic

12

用于计算值流的基本统计信息的命令行工具

是否有任何命令行工具可以接受来自标准输入的数字流（以ascii格式），并提供该流的基本描述性统计信息，例如最小值，最大值，平均值，中位数，RMS，分位数等？欢迎输出可被命令行链中的下一个命令解析。工作环境是Linux，但是欢迎使用其他选项。

27 descriptive-statistics computational-statistics computing

4

为什么训练步骤和评估步骤之间不对称？

众所周知，尤其是在自然语言处理中，机器学习应分两个步骤进行，即训练步骤和评估步骤，并且它们应使用不同的数据。为什么是这样？从直觉上讲，此过程有助于避免数据过拟合，但是我看不到这种情况（信息理论上的原因）。与此相关的是，我已经看到了一些数字，用于训练的数据集有多少，评估的数据有多少，分别为2/3和1/3。选择特定分布是否有任何理论依据？

27 machine-learning cross-validation

3

R中的符号计算

我想知道是否可以在R中进行符号计算？例如，我希望得到3D高斯分布的符号协方差矩阵的逆矩阵。我还可以在R中进行符号积分和微分吗？

27 r

3

为什么杰弗里斯先验被认为是非情报性的？

事先考虑杰弗瑞斯其中，其中我是Fisher信息。p(θ)∝|i(θ)|−−−−√p(θ)∝|i(θ)|p(\theta) \propto \sqrt{|i(\theta)|}iii 我一直认为这个先验是无意义的先验，但是我从来没有见过为什么它没有信息的争论。毕竟，这不是一个恒定的先验，因此必须有其他一些论点。我知道这不依赖于重新参数化，这将我带入下一个问题。Fisher信息的决定因素是否不依赖于重新参数化？因为Fisher信息绝对取决于问题的参数化。谢谢。

27 bayesian prior

2

回归中p值的含义

当我在某些软件包（例如Mathematica）中执行线性回归时，我得到与模型中各个参数关联的p值。例如，产生结果的线性回归的结果将具有与a关联的p值，以及与b关联的p值。ax+bax+bax+baaabbb 这些p值对这些参数分别意味着什么？有没有一种通用方法可以为任何回归模型计算参数？是否可以将与每个参数关联的p值组合为整个模型的p值？为了使这个问题本质上保持数学性质，我仅在概率方面寻求对p值的解释。

27 probability regression

4

使用CART时如何衡量/排列“可变重要性”？（特别是使用R中的{rpart}）

当使用rpart（在R中）构建CART模型（特别是分类树）时，通常很有趣的一点是，了解引入模型的各种变量的重要性。因此，我的问题是：对于CART模型中的参与变量的排名/衡量变量重要性，存在哪些常用措施？以及如何使用R来计算（例如，使用rpart包时）例如，下面是一些伪代码，它们是创建的，以便您可以在上面显示解决方案。此示例经过结构设计，很明显变量x1和x2是“重要的”，而（在某种意义上）x1比x2更重要（因为x1应该适用于更多情况，因此对数据结构的影响更大，然后x2）。 set.seed(31431) n <- 400 x1 <- rnorm(n) x2 <- rnorm(n) x3 <- rnorm(n) x4 <- rnorm(n) x5 <- rnorm(n) X <- data.frame(x1,x2,x3,x4,x5) y <- sample(letters[1:4], n, T) y <- ifelse(X[,2] < -1 , "b", y) y <- ifelse(X[,1] < 0 , "a", y) require(rpart) fit <- …

27 r classification model-selection cart rpart

5

模糊的先验与非信息先验是否相同？

这是关于术语的问题。“模糊的先验”与非信息先验是否相同，还是两者之间有区别？我的印象是，它们是相同的（从模糊和非信息性的角度来看），但是我不确定。

27 bayesian prior terminology

2